Discourse AI のための再ランキングオプションの探索

なるほど、これで分かりました。説明ありがとうございます。それが私が理解していなかった点です。

ところで、より高度なRAGではリランキングが行われることが多いですが、Discourseがそれをどのように処理するかのようなものはありますか?リランキングステップを追加することに何か良い効果があると思いますか?

再ランキングは進行中の作業です。

@Falco / @Roman が Discourse に基本的な再ランキング機能を実装しました。

これはセマンティック検索と RAG で使用されます。しかし、それはかなり隠されており、設定が容易ではありません。

私の考えでは、ここでの中期計画(@awesomerobot と話し合ったこと)は、LLM 用語をモデルに移行し、埋め込み/再ランキング機能と LLM を単一のインターフェイスで定義できるように UI を少し統一することでした。

今のところ、Hugging Face の再ランキング API のみをサポートしています。

結果の品質は確かに向上します。

「いいね!」 1

素晴らしい!\n現在、これはデフォルトでオフになっており、ホストされた(プロ)プランでは簡単に設定できないということですか?

@Falco さんからの回答をお待ちしましょう。

「いいね!」 1

@Falco様

テストのために再ランク付けを有効にする方法はありますか、またはその時期について教えていただけますでしょうか?

Discourse のセマンティック検索の基盤となるテクノロジーに大きな改善を加えました。これは DEV: Re-introduce PG Vector 0.8.0 upgrade by romanrizzi · Pull Request #35233 · discourse/discourse · GitHub でデプロイされました。

サイトにはすでにデプロイされているので、ユースケースを再試行していただけますでしょうか。リランキングなしで RAG が改善されると予想しています。

リランキング機能は引き続き広く利用できるようにしたいと考えていますが、現在、一部のアップストリームの変更が完了するのを待っています。

「いいね!」 2

Falcoさん、ありがとうございます!

これはDiscourseトピックのセマンティック検索のみで機能するのでしょうか、それともペルソナにアップロードされたRAGドキュメントでも機能するのでしょうか? 私自身の経験では、AIはフォーラムのトピック(つまりask.discourse)ではかなりうまく機能しますが、ペルソナにアップロードされたドキュメントではそれほどうまく機能しません(または、まだ最適な式を見つけられていません)。

「いいね!」 1

Discourse のすべての埋め込みの使用に影響します。これには、関連トピック、RAG、検索、コンポーザのカテゴリやタグの提案などが含まれます。

「いいね!」 1

新しい埋め込みモデルで結果は改善されましたか? @tpetrov

「いいね!」 1

ファルコ、ごめん。あまり時間をかけてテストできていないから、本当のことは言えないんだ。

2つの間で切り替えて比較する方法はないのかな?

「いいね!」 1

現在はできません。旧モデルと新モデルは数ヶ月間利用可能でしたが、最近ホスティングで旧モデルを廃止しました。

「いいね!」 1