Discourse AI - страница настроек большой языковой модели (LLM)

[Discourse]

Это руководство посвящено странице настроек LLM, которая является частью плагина Discourse AI.

Требуемый уровень пользователя: Администратор

Выделенная страница настроек предназначена для того, чтобы разместить все, что связано с большими языковыми моделями (LLM), используемыми в функциях Discourse AI, в одном месте.

В зависимости от включенной функции Discourse AI может потребоваться LLM. Пожалуйста, проверьте каждую функцию Discourse AI, чтобы узнать, является ли LLM обязательным условием.

Возможности

• Добавление новых моделей с предварительно заполненной информацией
• Добавление пользовательских моделей, не указанных в списке
• Настройка параметров LLM
• Разрешение использования конкретной LLM для AI Bot
  • Просмотр имени пользователя AI Bot
• Включение поддержки зрения (зависит от модели)
• Настройка разрешенных типов вложений
• Настройка квот использования для каждой группы
• Отслеживание затрат на входные/выходные токены
• Тестирование
• Сохранение настроек

Добавление подключений LLM

1. Перейдите в Admin → Plugins → AI
2. Перейдите на вкладку LLMs
3. Добавьте новое подключение и выберите вашу модель
4. Введите API-ключ (в зависимости от модели у вас могут быть дополнительные поля для ручного ввода) и сохраните
5. (Необязательно) Протестируйте подключение, чтобы убедиться, что оно работает

Поддерживаемые LLM

Вы всегда можете добавить пользовательский вариант, если не видите свою модель в списке. Поддерживаемые модели постоянно добавляются. Предварительно настроенные модели являются шаблонами — вы всегда можете добиться того же результата, используя «Ручную настройку».

Anthropic

• Claude Opus 4.6
• Claude Sonnet 4.6
• Claude Haiku 4.5

Google

• Gemini 3 Pro
• Gemini 3 Flash

OpenAI

• GPT-5.4
• GPT-5 Mini
• GPT-5 Nano

Open Router

• DeepSeek V3.2
• Moonshot Kimi K2.5
• xAI Grok 4 Fast
• MiniMax M2.5
• Z-AI GLM-5
• … и многие другие

Кроме того, клиенты с размещенным решением могут использовать предварительно настроенную CDCK Hosted Small LLM на странице настроек. Это LLM с открытыми весами, размещенная компанией Discourse, готовая к использованию для обеспечения работы функций AI.

Поля конфигурации

Вы увидите только поля, относящиеся к выбранному вами провайдеру LLM. Пожалуйста, перепроверьте любые предварительно заполненные поля у соответствующего провайдера, например Model name.

Основные поля:

• Display name — дружественное имя, отображаемое в выпадающих списках
• Model name — идентификатор модели, отправляемый в API (например, claude-sonnet-4-6, gpt-5.2)
• Provider — сервис, размещающий модель (например, Anthropic, OpenAI, Google, AWS Bedrock, Azure, Open Router и т. д.)
• URL — URL-адрес конечной точки API (не отображается для AWS Bedrock)
• API Key — настраивается через систему AI Secrets
• Tokenizer
• Max prompt tokens — управляет обрезкой промпта для предотвращения запросов чрезмерного размера
• Max output tokens
• Input cost / Output cost — стоимость за миллион токенов, используется для отслеживания использования
• Cached input cost / Cache write cost — для провайдеров, поддерживающих кэширование промптов
• Vision enabled — включает понимание изображений (зависит от модели)
• Allowed attachment types — типы файлов, которые может обрабатывать модель

Специфичные для провайдера поля (отображаются динамически в зависимости от выбранного провайдера):

• AWS Bedrock: Access Key ID, Role ARN, Region, опции рассуждения/мышления, Prompt caching
• Anthropic: опции рассуждения, Prompt caching
• OpenAI: Organization ID, Reasoning effort, Service tier
• Google: Enable thinking, Thinking level
• Open Router: Provider order, Provider quantizations

Квоты (доступны после первоначального сохранения):

• Квоты использования для каждой группы могут быть настроены с указанием максимального количества токенов, максимального числа использований и длительности

Технический FAQ

Что такое токенизатор?

• Токенизатор преобразует строки в токены, которые модель использует для понимания входных данных.

Какое число мне следует использовать для Max prompt tokens?

• Хорошее эмпирическое правило — 50% от окна контекста модели, которое представляет собой сумму количества токенов, которые вы отправляете, и количества токенов, которые модель генерирует. Если промпт станет слишком большим, запрос не выполнится. Это число используется для обрезки промпта, чтобы предотвратить такое происшествие.

Ограничения

• Иногда вы можете не видеть в списке модель, которую хотели бы использовать. Хотя вы можете добавить их вручную, мы будем поддерживать популярные модели по мере их выхода.

[qianping_chen (rouin)]

Это слишком сложно, я вообще не знаю, как это сделать. Надеюсь, что будут обновлены конкретные руководства по различным ИИ, например, по настройке входа через Google.