Оценка стоимости включения Discourse AI для связанных материалов и поиска

[NateDhaliwal]

@SubStrider

Для локально размещаемой LLM, какая типичная конфигурация сервера и стоимость потребуются?

Я считаю, что вам понадобится GPU, но использование GPU предпочтительнее, если вы хотите размещать модель локально. Обратите внимание на такие решения, как Ollama.

Также см.:

Estimating costs of using LLMs for Discourse AI

In order to use certain Discourse AI features, users are required to use a Large Language Model (LLM) provider. Please see each AI feature to determine which LLMs are compatible. If cost is a significant worry, Discourse AI has several built-in tools to help manage spending: AI Usage dashboard — track token consumption per feature, model, and user with estimated costs Usage quotas — set per-model, per-group limits on tokens or request counts within configura…