Плагин Discourse AI обладает множеством функций, требующих подключения LLM для активации — суммаризация, AI Helper, семантический поиск, AI Bot и его агенты. Вы можете использовать сторонний API, например, настроить ключи API для OpenAI или настроить ключи API для Anthropic, но Discourse AI с самого начала создавался таким образом, чтобы вы не были привязаны только к ним.
Это руководство описывает процесс запуска модели с открытыми весами на вашем сервере и её подключения к Discourse.
Используемая модель: Qwen/Qwen3.8-27B — плотная модель размером 27B, выпущенная в августе 2026 года, с нативным контекстным окном 256K, поддержкой понимания изображений/видео, вызовом инструментов и включенным по умолчанию режимом размышлений. Сейчас это лучший выбор для самостоятельного хостинга: достаточно мощная для реальных задач суммаризации и работы агентов, и достаточно компактная для одной видеокарты. Вы можете заменить её любой другой моделью; параметры, которые нужно изменить, указаны ниже.
Что Discourse требует от вашего сервера инференса
- Эндпоинт
POST /v1/chat/completions, совместимый с OpenAI (с поддержкой потоковой передачи). - Нативный вызов инструментов/функций, если вам нужно, чтобы AI Bot, агенты или структурированный вывод работали корректно. Без этого Discourse переключается на вызовы инструментов на основе XML, которые слабые модели обрабатывают плохо.
- Реальное контекстное окно — минимум 16K токенов, предпочтительно 32K+. Размер промптов Discourse для суммаризации и RAG быстро растет.
- Опционально: входные данные с изображениями, если вы хотите, чтобы модель анализировала изображения, прикрепленные к сообщениям.
Все, что соответствует первым трем пунктам, будет работать, поэтому выбор ниже зависит от вашего оборудования.
| Настройка | Лучше всего подходит для |
|---|---|
| vLLM | Выделенный GPU-сервер, ≥24 ГБ VRAM (квантованная) / 80 ГБ (полная точность), постоянный трафик, несколько пользователей |
| llama.cpp | Потребительские GPU, Apple Silicon, серверы только на CPU, небольшой форум |
| Managed / cloud | Вы хотите вынести модель со своего ноутбука, но не запускать её на своем оборудовании: любой эндпоинт, совместимый с OpenAI |
Запуск с помощью vLLM
vLLM — рекомендуемый движок для GPU-серверов: лицензия Apache, сервер, совместимый с OpenAI, из коробки, и первоклассная поддержка семейства Qwen.
mkdir -p /opt/vllm-cache
export VLLM_API_KEY="$(openssl rand -hex 24)"
docker run -d --name vllm \
--runtime nvidia --gpus all \
-v /opt/vllm-cache:/root/.cache/huggingface \
-e HF_HOME=/root/.cache/huggingface \
-e "HF_TOKEN=${HF_TOKEN}" \
-p 8080:8000 \
--ipc=host \
vllm/vllm-openai:latest \
Qwen/Qwen3.8-27B \
--host 0.0.0.0 \
--port 8000 \
--max-model-len 32768 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_xml \
--api-key "$VLLM_API_KEY"
Примечания к флагам:
--max-model-lenограничивает размер контекста (промпт + вывод), а следовательно, и размер кэша KV. Модель нативно поддерживает 256K; 32K достаточно для работы с форумом и позволяет держать использование VRAM предсказуемым. Увеличьте это значение (или используйтеauto), если у вас достаточно памяти.--reasoning-parser qwen3разделяет размышления модели в отдельное полеreasoning, вместо того чтобы вываливать их в ответ. Вы должны отразить этот выбор в настройках LLM в Discourse (см. ниже).--enable-auto-tool-choice --tool-call-parser ...включает нативный вызов функций. Названия парсеров могут меняться от релиза к релизу vLLM — проверьтеpython3 -m vllm.entrypoints.openai.api_server --helpвнутри вашего образа, если вызовы инструментов возвращаются как простой текст.HF_TOKENнеобходим только для моделей с ограниченным доступом;--api-keyзащищает ваш собственный эндпоинт. Предупреждение из документации vLLM:--api-keyзащищает только маршруты/v1, поэтому все равно держите сервер вне публичного интернета.- Мало VRAM? Попробуйте
--quantization fp8(или предварительно квантованный чекпоинт AWQ), прежде чем уменьшать размер контекста. Для нескольких GPU: добавьте--tensor-parallel-size N.
Протестируйте его:
curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $VLLM_API_KEY" \
-d '{
"model": "Qwen/Qwen3.8-27B",
"messages": [{"role": "user", "content": "What is Discourse?"}],
"max_tokens": 200
}'
Вы должны получить стандартное тело ответа JSON для завершения чата, где message.reasoning находится рядом с message.content.
Запуск с помощью llama.cpp
llama.cpp — правильный инструмент, когда модель должна поместиться в меньший объем VRAM, чем хотел бы vLLM, или когда вы используете Apple Silicon, AMD, Vulkan или CPU. Его llama-server также предоставляет API, совместимый с OpenAI.
Скачайте и запустите официальную сборку GGUF, используя контейнерный образ для вашего бэкенда (здесь server-cuda; также существуют server, server-rocm, server-vulkan и другие):
export LLAMA_API_KEY="$(openssl rand -hex 24)"
docker run -d --name llama-server \
--gpus all \
-p 8080:8080 \
-v /opt/llama-models:/models \
ghcr.io/ggml-org/llama.cpp:server-cuda \
-hf ggml-org/Qwen3.8-27B-GGUF:Q4_K_M \
--host 0.0.0.0 \
--port 8080 \
--alias qwen3.8-27b \
--api-key "$LLAMA_API_KEY" \
--ctx-size 16384 \
--n-gpu-layers auto \
--flash-attn auto \
--jinja \
--reasoning auto
Q4_K_Mзанимает около 16 ГБ весов; измерено примерно 18,4 ГиБ VRAM при контексте 8K и ~20 ГиБ при 32K, поэтому карта на 24 ГБ подойдет с умеренным значением--ctx-size. Популярной альтернативой являетсяunsloth/Qwen3.8-27B-GGUF:UD-Q4_K_Mот Unsloth.--jinjaиспользует собственный шаблон чата модели — именно это обеспечивает работу нативного вызова инструментов.--aliasустанавливает имя, возвращаемое API, поэтому имя модели, которое вы вводите в Discourse, будет совпадать.--reasoning autoотдельно сообщает о размышлениях, что соответствует поведению--reasoning-parserв vLLM.- Для ввода изображений необходим мультимодальный проектор; с
-hfон обычно загружается автоматически, в противном случае передайте--mmproj /models/mmproj-...gguf(или--no-mmproj, чтобы сэкономить VRAM для работы только с текстом).
Протестируйте его:
curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $LLAMA_API_KEY" \
-d '{
"model": "qwen3.8-27b",
"messages": [{"role": "user", "content": "What is Discourse?"}],
"max_tokens": 200
}'
Запуск чего-то другого
Любой сервер, который понимает завершения чата в формате OpenAI — SGLang, TensorRT-LLM, LM Studio, корпоративный шлюз, облачное выделенное развертывание — будет работать как есть: настроите его в Discourse с провайдером vLLM, который является нашим универсальным клиентом, совместимым с OpenAI, с поддержкой нативных инструментов.
Если вы предпочли бы не запускать инференс самостоятельно, но все же хотите избежать привязки к большим API, endpoints вывода Hugging Face (который теперь по умолчанию использует движок vLLM) работают с провайдером Hugging Face — укажите URL эндпоинта /v1/chat/completions.
Обеспечение доступности для экземпляра Discourse
Обычно это запускается на выделенной машине из-за требований к GPU. Когда вы делаете это:
- Поставьте обратный прокси перед сервером и завершите TLS на нем — Discourse с радостью будет общаться с ним по HTTPS.
- Ограничьте эндпоинт с помощью брандмауэра или клиентских сертификатов так, чтобы подключиться могли только ваши хосты Discourse. Ключ API является средством аутентификации, а не сетевой границей.
- Храните кэш модели на постоянном томе, чтобы перезапуски не приводили к повторному скачиванию десятков гигабайт.
Настройка Discourse AI
Подключения LLM настраиваются через интерфейс администратора, а не через настройки сайта. Перейдите в /admin/plugins/discourse-ai/ai-llms и добавьте новый LLM:
- Отображаемое имя — то, что видят ваши администраторы и пользователи.
- Имя — отправляется в запросе API; оно должно совпадать с тем, что ожидает сервер (
Qwen/Qwen3.8-27Bдля vLLM, ваш--aliasдля llama.cpp). - Провайдер — vLLM для vLLM, llama.cpp и любого другого сервера, совместимого с OpenAI; Hugging Face для эндпоинтов, размещенных на HF.
- URL — полный URL эндпоинта, включая путь, например
https://llm.example.com/v1/chat/completions. - Ключ API — введите его или обратитесь к сохраненному ключу на странице секретов AI.
- Токенизатор — Qwen для Qwen3.8 (выберите токенизатор, соответствующий семейству вашей модели).
- Макс. токенов промпта / макс. токенов вывода — держите сумму равной или меньшей значения
--max-model-len/--ctx-sizeвашего сервера. Например, для сервера с 32768 токенами: 28000 на промпт и 4096 на вывод. Модели с размышлениями тратят часть этого бюджета вывода на сам процесс размышления, поэтому не устанавливайте слишком жесткие ограничения. - Vision — включите нативное зрение, если вы обслуживали модель с поддержкой изображений и хотите, чтобы она их анализировала.
- Опции провайдера (vLLM): установите парсер рассуждений vLLM в
qwen3, чтобы он совпадал с флагом сервера, и используйте поля переопределения размышлений / усилий рассуждения / бюджета токенов размышления, если хотите, чтобы Discourse управлял размышлениями на уровне запроса. Оставьте галочку «отключить нативные инструменты» снятой, если только вызов функций в модели не сломан.
Нажмите Запустить тест перед сохранением: он отправляет как потоковый, так и непотоковый запросы и сообщает, какой из них не сработал.
После сохранения сделайте его моделью сайта по умолчанию с помощью настройки сайта ai_default_llm_model или назначьте его по функциям в /admin/plugins/discourse-ai/ai-features. Отдельные агенты настраиваются на странице агентов.
Одно предупреждение: эмбеддинги для семантического поиска не берутся из этой модели. Эмбеддинги используют собственную модель эмбеддингов, настроенную отдельно (эмбеддинговая модель API или самостоятельно размещенный сервер Text Embeddings Inference через настройки ai_hugging_face_tei_endpoint). Если вы хотите полностью самостоятельно разместить AI Search, запустите небольшую эмбеддинговую модель, такую как bge-m3, рядом с вашей LLM.
Устранение неполадок
| Симптом | Вероятная причина |
|---|---|
404 от эндпоинта |
В URL отсутствует /v1/chat/completions |
model not found |
Поле Name не совпадает с ID обслуживаемой модели / --alias |
401 / 403 |
Несовпадение ключа API между --api-key и записью LLM |
| Вызовы инструментов появляются как текст JSON в сообщении | Сервер запущен без парсинга вызовов инструментов; Discourse переключился на XML-инструменты |
| Текст размышлений утекает в ответ | На сервере отсутствует --reasoning-parser, или настройка парсера рассуждений в Discourse не совпадает с ним |
| CUDA out of memory | Уменьшите --max-model-len, добавьте --quantization fp8 или уменьшите --gpu-memory-utilization |
| Запросы завершаются ошибкой тайм-аута при длительной суммаризации | Модели с размышлениями работают медленно; наш HTTP-тайм-аут составляет 6 минут — уменьшите контекст, снизьте уровень усилий размышления или отключите размышления |
| Обрывы ответов | Параметр max output tokens в Discourse слишком мал с учетом токенов на размышления |