Плагин Discourse AI: отсутствует обнаружение модели и разумные настройки по умолчанию (есть ли планы или плагины сообщества?)

Всем привет :waving_hand:,

Прежде всего, спасибо команде Discourse за создание и поддержку официального плагина ИИ. Видно, что было приложено много усилий, чтобы сделать его стабильным и гибким для различных сценариев развертывания.

Тем не менее, после интеграции нескольких провайдеров ИИ (включая шлюзы, совместимые с OpenAI, и сторонние конечные точки Gemini), я столкнулся с несколькими пробелами в пользовательском опыте, которые становятся всё более ощутимыми по мере созревания инструментов ИИ. Я хотел бы спросить, есть ли планы их устранить — или есть интерес к созданию сообщества плагина, который бы это делал.


1. Отсутствие обнаружения моделей / списка моделей от провайдера

На данный момент при добавлении модели администратор должен вручную:

  • Ввести ID модели
  • Заранее знать, какие модели поддерживаются провайдером
  • Убедиться, что ID введен абсолютно точно

В большинстве современных инструментов и шлюзов ИИ (OpenAI Playground, OpenRouter, OneAPI, LM Studio и др.) сейчас стандартом является:

  • Получение списка доступных моделей от провайдера (например, /v1/models)
  • Предоставление пользователю выбора из выпадающего списка
  • Опциональное отображение базовых возможностей (длина контекста, поддержка зрения и т. д.)

Я понимаю, что Discourse AI поддерживает множество нестандартных или проксируемых бэкендов, и не все провайдеры последовательно реализуют список моделей. Тем не менее, даже опциональное действие «Получить модели от провайдера» (по возможности, совместимое с OpenAI) значительно улучшило бы удобство использования во многих настройках.


2. Окно контекста не должно требовать ручного ввода (или должно иметь значение по умолчанию)

В настоящее время поле окно контекста не имеет значения по умолчанию и должно вводиться вручную.

С точки зрения пользователя, это выглядит как то, что плагин должен либо:

  • По умолчанию использовать известное максимальное окно контекста модели, или
  • Использовать безопасное разумное значение по умолчанию, если оно неизвестно, или
  • Рассматривать пустое значение как «использовать значение по умолчанию провайдера/модели»

Требование от администраторов вручную исследовать и вводить размеры контекста подвержено ошибкам и излишне, особенно когда название модели уже подразумевает эту информацию в большинстве случаев.


3. Вопрос: планы, паттерны или плагины сообщества?

Итак, мои вопросы к сообществу и разработчикам:

  • Есть ли планы по улучшению обнаружения моделей и значений по умолчанию в официальном плагине ИИ?
  • Существуют ли рекомендуемые паттерны для более эргономичной обработки этого вопроса сегодня?
  • Знает ли кто-нибудь о (или работает ли кто-нибудь над) плагином или расширением сообщества, которое устраняет эти пробелы?

Если ответ «нет, и это вряд ли попадет в ядро», я всерьез рассмотрю возможность экспериментов с небольшим сопутствующим плагином, который будет фокусироваться исключительно на:

  • Обнаружении моделей
  • Метаданных возможностей
  • Разумных значениях по умолчанию

Прежде чем идти этим путем, я хотел бы узнать, интересует ли это других или есть ли какой-то контекст, который я мог упустить.

Спасибо за прочтение, и я с радостью выслушаю ваши мысли.

1 лайк

Я подозреваю, что кто-то разработал этот плагин. Пожалуйста, порекомендуйте его мне немедленно, спасибо.

Размер окна контекста модели

Максимальный размер токенов контекста для модели. Если значение равно 0, оно автоматически заполняется на основе метаданных модели (если они есть), либо может быть изменено вручную.

То же ли это, что и ваш первый пункт в этой теме?

2 лайка

Возможно, есть некоторое совпадение, спасибо, что напомнили.