Создать собственный плагин LLM или рассмотреть другие варианты?

Поддержка
1

Всем привет,

мы размещаем форум Discourse в рамках нашей корпоративной сети. Мы не можем интегрировать ChatGPT или любую другую публичную большую языковую модель (LLM), но в нашей компании реализуется крупная инициатива по созданию внутреннего сервиса для модулей ИИ (включая GPT).

У них есть собственный API, и я хотел бы спросить, возможно ли написать собственный плагин для LLM?
Или какие ещё варианты у нас есть?

Вызовы этого внутреннего API требуют аутентификации, а сам API требует ещё один ключ доступа, поэтому необходимо заранее предоставить несколько обязательных данных.

Будем очень признательны за любую помощь.

С уважением,

WS

2

Вы можете использовать пользовательские модели и/или конечные точки с текущим плагином.

Затем, если вам нужно добавить больше функциональности, вы можете форкнуть и поддерживать свой собственный плагин.

3

Да, но вы уже установили плагин AI, чтобы узнать, что он уже поддерживает?

4

Пока ваши внутренние конечные точки используют API-интерфейсы типа OpenAI, вы можете использовать Discourse AI без изменений, просто определив пользовательскую LLM.

5

Я попробую. Однако у меня есть одна большая проблема — аутентификация.
Дело не только в API-ключе, но и в OIDC (корпоративные политики :slight_smile:)…

Это значит, что мне как-то нужно кастомизировать способ, которым доска отправляет запросы к этому API. Возможно ли это без форка и самостоятельной реализации?

Спасибо, ребята, вы снова и снова потрясающие :+1: