Варианты использования альтернативного провайдера ИИ?

@Falco @sam, есть ли варианты, если мы хотим использовать своего собственного провайдера ИИ, помимо тех, что доступны в настройках? Например, если мы размещаем свой собственный или используем такой сервис, как mendable.ai и т.д.

Мы поддерживаем как API vLLM, так и API TGI для инференса больших языковых моделей, а также любой API, имитирующий OpenAI, — для этого достаточно указать его адрес в настройке ai openai gpt4 url.

Похоже, для OpenAI это не совсем 1:1, но очень близко:

При изучении API, особенно учитывая необходимость вызова newConversation и сохранения состояния, реализация конечной точки диалекта/API для Discourse AI займёт несколько дней.

Судя по всему, это вполне выполнимо, но это кастомная разработка. Мы можем это сделать, если вы готовы спонсировать проект.

Лично я не уверен, что такие кастомные решения выдержат конкуренцию в долгосрочной перспективе с передовыми моделями. К сожалению, для Mendable они могут стать довольно устаревшими уже после выпуска GPT-5.

Даже текущие модели, такие как GPT-4 или Claude Opus, при тщательной настройке, вероятно, могли бы превзойти их.

@Roman работает над возможностью injecting дополнительного внешнего контекста через файлы в персону.

Сегодня мы уже можем творить удивительные вещи с помощью кастомной персоны. Например, вы легко можете адаптировать помощника по GitHub под специфику Sailpoint: