なぜ内部システムではなく外部AIが選ばれたのか?

外部リソースの使用についてですが、お好みであればLLMをローカルで実行することも可能です。

しかし、プロジェクトでこれを実行したことはありますか?

非常に高性能なハードウェアを所有またはリースする必要があります!

(ホスティングを検討する可能性のある)小規模な言語モデルを自分で試してみて、どれだけ感銘を受けるか見てみてください。

結果は異なるかもしれませんが、私の意見では、少なくとも70Bパラメータのモデルをホストする必要があり、これは自己ホストするにはかなりコストがかかります。

参考までに、GPT 3.5は175Bパラメータモデル、GPT 4は(彼らが言うには)2兆近くであるとされています :sweat_smile:

私はこのプラグインを作成しました。

そして、AIタグ付け機能があります。私の経験では、それがうまく機能するためにはGPT 4 Turboが必要ですが(そしてその場合、それは本当にうまく機能します!)

もしそれほど強力なものを自己ホストしようとするなら、非常に深い懐が必要になります。

だからこそ、外部LLM APIの使用は、特に使用する呼び出しに対してのみ支払い、未使用のままアイドル状態のままの高価なインフラストラクチャに対しては支払わないため、依然として魅力的な従量制のオプションなのです。

もちろん、プライバシーが主要かつ十分な懸念事項である場合、これは計算を変える可能性があります。

「いいね!」 5