Ребята, извините, но я не смог понять из этой статьи, можно ли настроить локально установленную LLM через стандартный интерфейс настроек?
Я думаю, что если предоставляется поддерживаемый API, это должно быть возможно.
Есть ли конкретная LLM, которую вы планируете (или уже установили) локально?
Эта тема может помочь
Выбор подходящей модели — это отдельная задача; я не был уверен даже после прочтения ваших статей об ИИ здесь, на Meta.
Кажется, что инструмент Выбор открытой LLM от команды Discourse был бы очень полезен — ведь вы знаете внутреннее устройство и точно понимаете, какие возможности должна иметь LLM, чтобы успешно справляться с различными задачами, актуальными для сообществ Discourse. Такой инструмент/мастер/LLM мог бы задавать вопросы или позволять мне включать/выключать пункты в списке из 20+ типичных задач, которые я хочу поручить LLM в своём сообществе, а затем рекомендовал бы топ-3 варианта: без компромиссов (самые мощные, требующие дорогого оборудования); сбалансированные (требующие сервер среднего ценового диапазона); и лёгкие (для базовых задач в небольших и средних сообществах, способные работать на VPS за $20–40).
Думаю, поддерживать актуальность правильного ответа на это было бы работой на полный рабочий день. 
Если вы ищете недорогое решение, бесплатный тариф Gemini — это то, что нужно:
Gemini Flash 2.0 — очень мощный модель, и бесплатный тариф предоставляет достаточно лимитов для выполнения множества задач на вашем форуме.
Ищу решение с локальным хостингом, так как мы не можем отправлять какой-либо контент на сервисы за пределами наших серверов.
Касательно недорогих вариантов — спасибо за подсказку!
Некомпромиссная
- DeepSeek V3 0324
- Qwen 3 235B A22
Сбалансированная
- Qwen 3 32B / 30B A3B
- Llama 3.3 70B
- Qwen 2.5 70B
Легковесная
Возможно, unsloth/gemma-3-4b-it-qat-GGUF · Hugging Face? На этом уровне это сложно, гораздо экономичнее использовать хостовый API, например OpenRouter.