Mistral APIのサポート

新しいMistralモデル(mistral-smallとmistral-medium)をAPI経由で試していますが、良い印象を持っています。Mistral-small(Mixtral 8x7B MOE)はGPT3.5を上回り、一部のユースケースではGPT4の代替となり得ます(完全に同等ではありませんが)。最も重要なのは、GPT4よりも大幅に安価であることです。Discourse AIプラグインでMistral APIのサポートが追加されることを期待しています。

Mistral APIのURLとトークンをopenAI GPT4 turboのフィールドにドロップしてみましたが、予想通り、リクエストするモデルが間違っていたため機能しませんでした。openAI、Anthropic、MistralのAPIドキュメントを見ると、すべて同じ形式を使用しています。これは意図的なものでしょう。新しいベンダーがopenAIに準拠し、ドロップインリプレイスメントとして使用できるようにしているのだと思います。

したがって、この機能リクエストのパート2として、openAIライクなインターフェースを採用する任意のベンダーに対応できるように、AI設定をより汎用的にリファクタリングすることを検討してください。設定では、チャットエンドポイント、モデルリストエンドポイント、埋め込みエンドポイント、APIキーの4つを提供するだけで十分です。Discourseは/modelsエンドポイントにクエリを実行してモデル名を取得するか、モデル名を直接入力できます。

@Falco は本日 vLLM 経由で mixtral を導入しました。

@Roman は、ボットが新しい「汎用 LLM」インターフェイスを利用できるように、内部実装のリファクタリングに取り組んでいます。

LLM に関するすべての AI 設定を再考することに同意します。サイト設定でできること以上に、私たちが成長させる必要があるパターンがあります。

アクセス可能なすべての LLM を一覧表示し、エンドポイント / パラメータ / クォータなどを説明する新しいインターフェイスは、まさに私たちが考え始める必要があるものです。現在の方法はあまりにも限定的であり、無限のモデルが存在することを考えると、ここでは新しいパラダイムが必要です。

「いいね!」 3