代替AIプロバイダー利用の選択肢について

開発
1

@Falco @sam 設定で利用可能なもの以外に、独自のAIプロバイダーを使用したい場合、何かオプションはありますか？例えば、自社でホストしている場合や、mendable.aiのようなサービスを使用している場合などです。

2

LLM推論には、vLLMとTGIの両方のAPIをサポートしています。さらに、OpenAI互換APIであれば、ai openai gpt4 urlを設定することで機能するはずです。

「いいね！」 2
3

OpenAIとまったく同じではありませんが、非常に近いです。

4

APIを読み進めると、特に newConversation を呼び出して状態を保存する必要があるため、Discourse AI のためのダイアレクト/API エンドポイントを実装するには数日かかるでしょう。

私の見立てでは、完全に実行可能ですが、カスタム作業です。もしスポンサーしていただけるなら、私たちはそれを実行できます。

個人的には、これらのカスタムアニマルが、フロンティアモデルに対して長期的に勝てるとは思えません。Mendable にとっては残念ながら、GPT-5 のリリースによって pretty obsolete になる可能性があります。

GPT-4 / Claude Opus のようなものでさえ、今日、注意深く調整すれば、これら outperform できるでしょう。

@Roman は、ファイル経由で追加の外部コンテキストをペルソナに注入できるように取り組んでいます。

今日、カスタムペルソナで pretty amazing なことをすでに実行できます。たとえば、GitHub ヘルパーを SailPoint 固有のものに簡単に適応させることができます。

「いいね！」 3