Самостоятельный запуск LLM с открытым исходным кодом для DiscourseAI

Плагин Discourse AI обладает множеством функций, требующих подключения LLM для активации — суммаризация, AI Helper, семантический поиск, AI Bot и его агенты. Вы можете использовать сторонний API, например, настроить ключи API для OpenAI или настроить ключи API для Anthropic, но Discourse AI с самого начала создавался таким образом, чтобы вы не были привязаны только к ним.

Это руководство описывает процесс запуска модели с открытыми весами на вашем сервере и её подключения к Discourse.

Используемая модель: Qwen/Qwen3.8-27B — плотная модель размером 27B, выпущенная в августе 2026 года, с нативным контекстным окном 256K, поддержкой понимания изображений/видео, вызовом инструментов и включенным по умолчанию режимом размышлений. Сейчас это лучший выбор для самостоятельного хостинга: достаточно мощная для реальных задач суммаризации и работы агентов, и достаточно компактная для одной видеокарты. Вы можете заменить её любой другой моделью; параметры, которые нужно изменить, указаны ниже.

Что Discourse требует от вашего сервера инференса

  • Эндпоинт POST /v1/chat/completions, совместимый с OpenAI (с поддержкой потоковой передачи).
  • Нативный вызов инструментов/функций, если вам нужно, чтобы AI Bot, агенты или структурированный вывод работали корректно. Без этого Discourse переключается на вызовы инструментов на основе XML, которые слабые модели обрабатывают плохо.
  • Реальное контекстное окно — минимум 16K токенов, предпочтительно 32K+. Размер промптов Discourse для суммаризации и RAG быстро растет.
  • Опционально: входные данные с изображениями, если вы хотите, чтобы модель анализировала изображения, прикрепленные к сообщениям.

Все, что соответствует первым трем пунктам, будет работать, поэтому выбор ниже зависит от вашего оборудования.

Настройка Лучше всего подходит для
vLLM Выделенный GPU-сервер, ≥24 ГБ VRAM (квантованная) / 80 ГБ (полная точность), постоянный трафик, несколько пользователей
llama.cpp Потребительские GPU, Apple Silicon, серверы только на CPU, небольшой форум
Managed / cloud Вы хотите вынести модель со своего ноутбука, но не запускать её на своем оборудовании: любой эндпоинт, совместимый с OpenAI

Запуск с помощью vLLM

vLLM — рекомендуемый движок для GPU-серверов: лицензия Apache, сервер, совместимый с OpenAI, из коробки, и первоклассная поддержка семейства Qwen.

mkdir -p /opt/vllm-cache
export VLLM_API_KEY="$(openssl rand -hex 24)"

docker run -d --name vllm \
  --runtime nvidia --gpus all \
  -v /opt/vllm-cache:/root/.cache/huggingface \
  -e HF_HOME=/root/.cache/huggingface \
  -e "HF_TOKEN=${HF_TOKEN}" \
  -p 8080:8000 \
  --ipc=host \
  vllm/vllm-openai:latest \
  Qwen/Qwen3.8-27B \
  --host 0.0.0.0 \
  --port 8000 \
  --max-model-len 32768 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_xml \
  --api-key "$VLLM_API_KEY"

Примечания к флагам:

  • --max-model-len ограничивает размер контекста (промпт + вывод), а следовательно, и размер кэша KV. Модель нативно поддерживает 256K; 32K достаточно для работы с форумом и позволяет держать использование VRAM предсказуемым. Увеличьте это значение (или используйте auto), если у вас достаточно памяти.
  • --reasoning-parser qwen3 разделяет размышления модели в отдельное поле reasoning, вместо того чтобы вываливать их в ответ. Вы должны отразить этот выбор в настройках LLM в Discourse (см. ниже).
  • --enable-auto-tool-choice --tool-call-parser ... включает нативный вызов функций. Названия парсеров могут меняться от релиза к релизу vLLM — проверьте python3 -m vllm.entrypoints.openai.api_server --help внутри вашего образа, если вызовы инструментов возвращаются как простой текст.
  • HF_TOKEN необходим только для моделей с ограниченным доступом; --api-key защищает ваш собственный эндпоинт. Предупреждение из документации vLLM: --api-key защищает только маршруты /v1, поэтому все равно держите сервер вне публичного интернета.
  • Мало VRAM? Попробуйте --quantization fp8 (или предварительно квантованный чекпоинт AWQ), прежде чем уменьшать размер контекста. Для нескольких GPU: добавьте --tensor-parallel-size N.

Протестируйте его:

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VLLM_API_KEY" \
  -d '{
    "model": "Qwen/Qwen3.8-27B",
    "messages": [{"role": "user", "content": "What is Discourse?"}],
    "max_tokens": 200
  }'

Вы должны получить стандартное тело ответа JSON для завершения чата, где message.reasoning находится рядом с message.content.

Запуск с помощью llama.cpp

llama.cpp — правильный инструмент, когда модель должна поместиться в меньший объем VRAM, чем хотел бы vLLM, или когда вы используете Apple Silicon, AMD, Vulkan или CPU. Его llama-server также предоставляет API, совместимый с OpenAI.

Скачайте и запустите официальную сборку GGUF, используя контейнерный образ для вашего бэкенда (здесь server-cuda; также существуют server, server-rocm, server-vulkan и другие):

export LLAMA_API_KEY="$(openssl rand -hex 24)"

docker run -d --name llama-server \
  --gpus all \
  -p 8080:8080 \
  -v /opt/llama-models:/models \
  ghcr.io/ggml-org/llama.cpp:server-cuda \
  -hf ggml-org/Qwen3.8-27B-GGUF:Q4_K_M \
  --host 0.0.0.0 \
  --port 8080 \
  --alias qwen3.8-27b \
  --api-key "$LLAMA_API_KEY" \
  --ctx-size 16384 \
  --n-gpu-layers auto \
  --flash-attn auto \
  --jinja \
  --reasoning auto
  • Q4_K_M занимает около 16 ГБ весов; измерено примерно 18,4 ГиБ VRAM при контексте 8K и ~20 ГиБ при 32K, поэтому карта на 24 ГБ подойдет с умеренным значением --ctx-size. Популярной альтернативой является unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M от Unsloth.
  • --jinja использует собственный шаблон чата модели — именно это обеспечивает работу нативного вызова инструментов.
  • --alias устанавливает имя, возвращаемое API, поэтому имя модели, которое вы вводите в Discourse, будет совпадать.
  • --reasoning auto отдельно сообщает о размышлениях, что соответствует поведению --reasoning-parser в vLLM.
  • Для ввода изображений необходим мультимодальный проектор; с -hf он обычно загружается автоматически, в противном случае передайте --mmproj /models/mmproj-...gguf (или --no-mmproj, чтобы сэкономить VRAM для работы только с текстом).

Протестируйте его:

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $LLAMA_API_KEY" \
  -d '{
    "model": "qwen3.8-27b",
    "messages": [{"role": "user", "content": "What is Discourse?"}],
    "max_tokens": 200
  }'

Запуск чего-то другого

Любой сервер, который понимает завершения чата в формате OpenAI — SGLang, TensorRT-LLM, LM Studio, корпоративный шлюз, облачное выделенное развертывание — будет работать как есть: настроите его в Discourse с провайдером vLLM, который является нашим универсальным клиентом, совместимым с OpenAI, с поддержкой нативных инструментов.

Если вы предпочли бы не запускать инференс самостоятельно, но все же хотите избежать привязки к большим API, endpoints вывода Hugging Face (который теперь по умолчанию использует движок vLLM) работают с провайдером Hugging Face — укажите URL эндпоинта /v1/chat/completions.

Обеспечение доступности для экземпляра Discourse

Обычно это запускается на выделенной машине из-за требований к GPU. Когда вы делаете это:

  1. Поставьте обратный прокси перед сервером и завершите TLS на нем — Discourse с радостью будет общаться с ним по HTTPS.
  2. Ограничьте эндпоинт с помощью брандмауэра или клиентских сертификатов так, чтобы подключиться могли только ваши хосты Discourse. Ключ API является средством аутентификации, а не сетевой границей.
  3. Храните кэш модели на постоянном томе, чтобы перезапуски не приводили к повторному скачиванию десятков гигабайт.

Настройка Discourse AI

Подключения LLM настраиваются через интерфейс администратора, а не через настройки сайта. Перейдите в /admin/plugins/discourse-ai/ai-llms и добавьте новый LLM:

  1. Отображаемое имя — то, что видят ваши администраторы и пользователи.
  2. Имя — отправляется в запросе API; оно должно совпадать с тем, что ожидает сервер (Qwen/Qwen3.8-27B для vLLM, ваш --alias для llama.cpp).
  3. Провайдер — vLLM для vLLM, llama.cpp и любого другого сервера, совместимого с OpenAI; Hugging Face для эндпоинтов, размещенных на HF.
  4. URL — полный URL эндпоинта, включая путь, например https://llm.example.com/v1/chat/completions.
  5. Ключ API — введите его или обратитесь к сохраненному ключу на странице секретов AI.
  6. Токенизатор — Qwen для Qwen3.8 (выберите токенизатор, соответствующий семейству вашей модели).
  7. Макс. токенов промпта / макс. токенов вывода — держите сумму равной или меньшей значения --max-model-len / --ctx-size вашего сервера. Например, для сервера с 32768 токенами: 28000 на промпт и 4096 на вывод. Модели с размышлениями тратят часть этого бюджета вывода на сам процесс размышления, поэтому не устанавливайте слишком жесткие ограничения.
  8. Vision — включите нативное зрение, если вы обслуживали модель с поддержкой изображений и хотите, чтобы она их анализировала.
  9. Опции провайдера (vLLM): установите парсер рассуждений vLLM в qwen3, чтобы он совпадал с флагом сервера, и используйте поля переопределения размышлений / усилий рассуждения / бюджета токенов размышления, если хотите, чтобы Discourse управлял размышлениями на уровне запроса. Оставьте галочку «отключить нативные инструменты» снятой, если только вызов функций в модели не сломан.

Нажмите Запустить тест перед сохранением: он отправляет как потоковый, так и непотоковый запросы и сообщает, какой из них не сработал.

После сохранения сделайте его моделью сайта по умолчанию с помощью настройки сайта ai_default_llm_model или назначьте его по функциям в /admin/plugins/discourse-ai/ai-features. Отдельные агенты настраиваются на странице агентов.

Одно предупреждение: эмбеддинги для семантического поиска не берутся из этой модели. Эмбеддинги используют собственную модель эмбеддингов, настроенную отдельно (эмбеддинговая модель API или самостоятельно размещенный сервер Text Embeddings Inference через настройки ai_hugging_face_tei_endpoint). Если вы хотите полностью самостоятельно разместить AI Search, запустите небольшую эмбеддинговую модель, такую как bge-m3, рядом с вашей LLM.

Устранение неполадок

Симптом Вероятная причина
404 от эндпоинта В URL отсутствует /v1/chat/completions
model not found Поле Name не совпадает с ID обслуживаемой модели / --alias
401 / 403 Несовпадение ключа API между --api-key и записью LLM
Вызовы инструментов появляются как текст JSON в сообщении Сервер запущен без парсинга вызовов инструментов; Discourse переключился на XML-инструменты
Текст размышлений утекает в ответ На сервере отсутствует --reasoning-parser, или настройка парсера рассуждений в Discourse не совпадает с ним
CUDA out of memory Уменьшите --max-model-len, добавьте --quantization fp8 или уменьшите --gpu-memory-utilization
Запросы завершаются ошибкой тайм-аута при длительной суммаризации Модели с размышлениями работают медленно; наш HTTP-тайм-аут составляет 6 минут — уменьшите контекст, снизьте уровень усилий размышления или отключите размышления
Обрывы ответов Параметр max output tokens в Discourse слишком мал с учетом токенов на размышления
17 лайков

Для тех, кто ищет по этой теме с/для:
#Llava-Api-keys

Я тоже использую vLLM. Также рекомендую модель openchat v3.5 0106 — это 7-миллиардная модель с 7 миллиардами параметров, которая показывает отличные результаты.

Я запускаю её в квантованном виде с точностью 4 бита, чтобы она работала быстрее.

Я поручаю эту задачу стажёру. Есть ли у кого-нибудь рекомендации по конкретной услуге для регистрации? Это для тестирования. У стажёра уже настроен тест с OpenAI. Он работает нормально. Они заинтересованы в попытке использовать HuggingFace TGI, но, похоже, мне нужно предоставить им выделенный сервер с GPU? Какие минимальные характеристики требуются для теста?

Есть ли ссылки, которые я могу дать стажёру?

Я ещё не изучал этот проект подробно. Я лишь предполагаю, что стажёру понадобятся некоторые ресурсы, и пытаюсь дать разумные рекомендации по услугам для стажёра в ходе исследования.

Привет! При развертывании контейнера vllm с самоподписанным сертификатом на локальном GPU-сервере я не нашел хорошего способа добавить корневой CA в контейнер Discourse, чтобы он мог безопасно обращаться к этому локальному сервису по HTTPS.

Например:

./launcher enter app
curl -L  https://vllm.infra.example.com/v1/models
curl: (60) SSL certificate problem: unable to get local issuer certificate
More details here: https://curl.se/docs/sslcerts.html

curl failed to verify the legitimacy of the server and therefore could not
establish a secure connection to it. To learn more about this situation and
how to fix it, please visit the web page mentioned above.

Есть ли хороший способ добавить корневой сертификат CA (самоподписанный) в контейнер Discourse так, чтобы изменения сохранялись даже после обновления образа контейнера?

Насколько я знаю, добавление этого в app.yml:

run:
  - exec: wget ... && update-ca-certificates

сработает корректно только при сборке/пересборке приложения.

Буду благодарен за любые подсказки.

14 сообщений были перенесены в новую тему: Настройка Discourse AI для работы с Ollama локально

Есть ли возможность добавлять пользовательские заголовки HTTP в запросы Discourse AI? У нас есть сервер с GPU, который мы используем для различных задач; он предоставляет API, совместимое с OpenAI, но в целях безопасности мы разместили его за шлюзом управления API (API Management), который требует наличия пользовательского заголовка HTTP (например, SubscriptionKey), и мы передаём там наш ключ аутентификации.Обратите внимание, что этот ключ аутентификации используется для прохождения через APIM и отличается от ключа API, который обычно указывается для таких сервисов, как OpenAI API.Было бы отлично, если бы появилась возможность добавлять пользовательские заголовки при настройке каждой LLM на странице admin/plugins/discourse-ai/ai-llms. Возможно, стоит добавить опцию «Custom» в выпадающем списке «Provider» с дополнительными настройками для подобных сценариев использования?

1 лайк

Краткий ответ: используйте плагин для добавления этого заголовка. Обходным решением может стать локальный прокси-сервер, к которому будет обращаться Discourse; он добавит заголовок и передаст данные обратно в Discourse. Один ненадёжный источник предполагает, что вы можете настроить NGINX на выполнение этой задачи с помощью чего-то вроде:

server {
    listen 80;
    
    location / {
        proxy_pass https://api.example.com;
        proxy_set_header SubscriptionKey xyz;
        proxy_set_header Host $host;
    }
}

Возможно, существует изящный способ добавить это в конфигурацию nginx для Discourse по какому-то секретному пути (который также слушал бы только ваш сервер).

1 лайк

Здравствуйте,

Я не могу найти эти настройки:

Есть ли у вас какие-либо предложения по тестированию функции AI-перевода с использованием бэкенда Ollama?

Создайте новую LLM по адресу /admin/plugins/discourse-ai/ai-llms/new?llmTemplate=none, выберите OpenAI в качестве провайдера, так как Ollama поддерживает OpenAI compatibility - Ollama.

1 лайк

Спасибо! Я тоже заметил, что URL работает только при включённом плагине AI :person_facepalming:

Есть ли какие-либо предложения, что выбрать/установить для следующих обязательных настроек для нового добавленного провайдера?

  1. Токенизатор
  2. Контекстное окно

Что касается модели, я подумывал, возможно, использовать stablelm2:1.6b или translategemma:4b, но пока не уверен.
В README последней есть описание входного промпта. Мне интересно, какой запрос отправляет функция перевода AI в Ollama. см. /admin/plugins/discourse-ai/ai-agents/-28/edit

:sweat_smile:

Выбирайте тот, что максимально близок к модели, которую вы используете. Для Gemma можно взять токенизатор от Gemini.

Здесь вы задаёте максимальный контекст для вашего деплоя.

Пожалуйста, не делайте этого. Эта модель очень-очень-очень-очень-очень старая. Это худший выбор, который вы можете сделать.

Эта модель отстает на одно поколение и имеет очень строгие требования к промптам, которые несовместимы с Discourse. Нам нужен более стандартный LLM для общего использования.

Для таких размеров я рекомендую либо Qwen 3.5, либо Gemma 4.

3 лайка

Ещё раз спасибо. Я настроил параметры, загрузил модель, подправил агента и теперь запустил функцию перевода с помощью ИИ. Посмотрим, что из этого выйдет.

Ещё один вопрос. Раньше мы использовали плагин переводчика с щедрым предоставлением экземпляра LibreTranslate. Невозможно ли подключить функцию перевода Discourse AI к этому конечному узлу LibreTranslate? В конце концов, это было бы гораздо проще, чем размещать экземпляр Ollama на сервере без реальных возможностей LLM.

Почему бы вам не продолжать использовать его? Мы больше не обновляем его, но он будет продолжать работать как есть.

Перевод в Discourse AI работает с совершенно другим набором ограничений, чем оригинальный плагин Переводчик, поэтому мы создали его с нуля, чтобы учесть этот новый мир, где переводы на основе LLM лучше и дешевле, чем то, что было возможно раньше с помощью ML-переводческих API.

1 лайк