Discourse AI — использование ИИ

[Saif (Saif Murtaza)]

Это руководство посвящено странице использования ИИ, которая является частью плагина Discourse AI.

Требуемый уровень пользователя: Администратор

Страница использования ИИ предназначена для администраторов, чтобы они могли понимать, как сообщество использует функции Discourse AI с течением времени. Это может быть полезно при оценке затрат на использование больших языковых моделей (LLM) для Discourse AI.

Возможности

• Период времени: последние 24 часа, последняя неделя, последний месяц и произвольный диапазон дат
• Выбор по функции Discourse AI
• Выбор по включенным LLM
• Предварительный просмотр сводки
  • Общее количество запросов: Все запросы, отправленные в LLM через Discourse
  • Общее количество токенов: Все токены, использованные при формировании запроса к LLM
  • Токены запроса: Токены, использованные, когда LLM пытается понять, что вы говорите
  • Токены ответа: Токены, использованные, когда LLM отвечает на ваш запрос
  • Токены чтения кэша: Ранее обработанные токены запроса, которые LLM повторно использует из кэша для оптимизации производительности и затрат
  • Токены записи в кэш: Токены запроса, записанные в кэш для возможного будущего повторного использования
  • Оценочная стоимость: Суммарная стоимость всех токенов, использованных LLM, на основе указанных метрик стоимости, добавленных в конфигурации LLM
• Интерактивный столбчатый график, демонстрирующий использование токенов
• Количество токенов, число использований и оценочная стоимость по каждой функции Discourse AI
• Количество токенов, число использований и оценочная стоимость по каждой LLM
• Количество токенов, число использований и оценочная стоимость по каждому пользователю

Включение статистики использования ИИ

Предварительные требования

Для заполнения данных необходимо настроить как минимум одну большую языковую модель (LLM) от провайдера и иметь пользователей, использующих функции Discourse AI.

Чтобы начать работу, вы можете настроить LLM на странице настроек Discourse AI — Большие языковые модели (LLM).

• OpenAI
• Anthropic
• Azure OpenAI
• AWS Bedrock
• Google Gemini
• Mistral
• Groq
• SambaNova
• Open Router
• Cohere
• HuggingFace
• vLLM / Самостоятельное размещение LLM с открытым исходным кодом

Настройка

1. Перейдите в настройки Admin → Plugins → AI → вкладка Settings и убедитесь, что функция включена (discourse ai enabled).
2. В плагине AI перейдите на вкладку Usage.

Технические вопросы и ответы

Что такое токены и как они работают?

• Токены — это основные единицы, которые LLM используют для понимания и генерации текста. Данные об использовании могут влиять на стоимость. Подробнее см. в статье Оценка затрат на использование LLM для Discourse AI.