なぜ内部システムではなく外部AIが選ばれたのか?

こんにちは。

Discourse の関連コンテンツ機能についてお問い合わせいたします。外部 AI を利用しているようですが、タグやカテゴリに基づいて関連コンテンツを直接提供できる内部システムを開発するのではなく、このアプローチが選択された理由は何でしょうか?同じカテゴリからトピックを提案するオプションは見たことがありますが、タグについては何もありません。

この機能を提供する公式の Discourse プラグインまたはコンポーネントはありますか?日々の業務とプラットフォームへの継続的なイノベーションに感謝いたします。

「いいね!」 3

注:私はDiscourseの従業員でもOpenAIの従業員でもありませんが、OpenAIフォーラム(ChatGPTおよびGPT 4の作成者)のカテゴリモデレーターであり、開発中から多くのDiscourse AI機能を使用しています。

あなたが言及している手段は構文検索ですが、これはセマンティック検索であり、キーワードではなく埋め込みを使用します。

Googleで「セマンティック検索の仕組み」を検索すると、多くの記事が見つかります。ここに、多くの人が気に入ると思われる記事があります。

はい、これはDiscourse AIプラグインの一部であり、特にセマンティック関連トピックです。

「いいね!」 5

外部リソースの使用についてですが、お好みであればLLMをローカルで実行することも可能です。

しかし、プロジェクトでこれを実行したことはありますか?

非常に高性能なハードウェアを所有またはリースする必要があります!

(ホスティングを検討する可能性のある)小規模な言語モデルを自分で試してみて、どれだけ感銘を受けるか見てみてください。

結果は異なるかもしれませんが、私の意見では、少なくとも70Bパラメータのモデルをホストする必要があり、これは自己ホストするにはかなりコストがかかります。

参考までに、GPT 3.5は175Bパラメータモデル、GPT 4は(彼らが言うには)2兆近くであるとされています :sweat_smile:

私はこのプラグインを作成しました。

そして、AIタグ付け機能があります。私の経験では、それがうまく機能するためにはGPT 4 Turboが必要ですが(そしてその場合、それは本当にうまく機能します!)

もしそれほど強力なものを自己ホストしようとするなら、非常に深い懐が必要になります。

だからこそ、外部LLM APIの使用は、特に使用する呼び出しに対してのみ支払い、未使用のままアイドル状態のままの高価なインフラストラクチャに対しては支払わないため、依然として魅力的な従量制のオプションなのです。

もちろん、プライバシーが主要かつ十分な懸念事項である場合、これは計算を変える可能性があります。

「いいね!」 5

@EricGT @merefield 早速のご返信と情報提供ありがとうございます。AIがDiscourseプラットフォームにもたらすイノベーションは理解しており、高く評価しています。しかしながら、ヨーロッパ、特にフランスにおけるGDPRをはじめとする厳格なデータ保護要件については懸念があります。プライバシーポリシーの遵守を確実にするために弁護士に相談すると、かなりの費用がかかる可能性があります。

そのため、外部AIを必要とせずに、関連コンテンツ機能を提供するDiscourseプラグインがあるかどうか疑問に思っていました。

さらに、個人的な経験を共有したいと思います。利用可能なガイドがあるにもかかわらず、物事を正しく行えないのではないかと恐れ、Discourseフォーラムの立ち上げを長い間ためらっていました。ChatGPTの登場は私にとってゲームチェンジャーでした。それが私の人生をどれほど変えたかは信じられないほどです。その助けを借りて、以前は思い切れなかったプロジェクトに着手することができました。それは私に新しい展望を開き、自信を持って前進することを可能にする革命です。

皆様の多大な尽力と継続的なサポートに改めて感謝いたします。

「いいね!」 1

前述のように、AIプラグインは外部サービスを使用することも、独自のパーソナルクラウドシステムを作成することもできます。ただし、独自のAIサービスを実行するにはコストがかかり、追加のメンテナンスが必要であり、外部サービスと同等の結果は得られません。

これは、Discourseがどうこうできる問題ではなく、AIテクノロジー自体の保守と実行が非常に困難であるという限界です。Discourseのプラグインは、外部サービスを使用しているか「内部」サービスを使用しているかに関係なく、中立です。

この文脈では全く関係ありません。

しかし…弁護士はセルフホスト型LLMよりもはるかに安いです。

「いいね!」 2