Как настроить Discourse для использования локально установленного LLM?

[Lilly (Lillian)]

Эта тема может помочь

Развертывание OpenSource LLM для DiscourseAI на собственном сервере

Плагин Discourse AI включает множество функций, требующих включения LLM, таких как, например, суммаризация, AI Helper, AI Search и AI Bot. Хотя вы можете использовать сторонний API, например, настроить ключи API для OpenAI или настроить ключи API для Anthropic, мы создали Discourse AI с самого начала так, чтобы не зависеть от этих провайдеров. Запуск с HuggingFace TGI HuggingFace предоставляет отличное контейнерное изображение, которое позволит быстро запустить сервер. Например: mkdir -p /opt…