Я экспериментирую с новыми моделями Mistral (mistral-small и mistral-medium) через их API и мне нравится то, что я вижу. Mistral-small (который является Mixtral 8x7B MOE), похоже, превосходит GPT-3.5 и может стать жизнеспособной альтернативой (хотя и не столь мощной) GPT-4 для некоторых сценариев использования. Самое главное, что он значительно дешевле GPT-4. Было бы здорово увидеть поддержку API Mistral в плагине Discourse AI.
Я попробовал вставить URL и токен API Mistral в поля для GPT-4 Turbo от OpenAI, но, как и следовало ожидать, это не сработало, потому что запрашивалась неправильная модель. Изучив документацию по API OpenAI, Anthropic и Mistral, я заметил, что все они используют одинаковый формат. Думаю, это сделано намеренно — новые поставщики ориентируются на OpenAI, чтобы их можно было использовать как прямую замену.
Поэтому вторая часть этого запроса на новую функцию — рассмотреть возможность рефакторинга настроек ИИ, чтобы сделать их более универсальными и поддерживать любого поставщика, использующего интерфейс, похожий на OpenAI. В настройках достаточно указать всего четыре параметра: конечную точку чата, конечную точку списка моделей, конечную точку для эмбеддингов и API-ключ. Discourse будет опрашивать конечную точку /models для получения названий моделей, либо вы сможете вручную ввести названия моделей.