フルページセマンティック検索…英語のみですか？また、その動作を容易にするために、何らかのRailsマジックが必要ですか？
埋め込みモデルを多言語対応のものに切り替えていただければ、作業可能です。テストはしていませんが、理論上は機能するはずです。
ほとんどの場合、何も提供できず、検索結果があったとしても、まったく関連性のないものばかりなので、不思議に思っています。
埋め込みにはどのモデルを使用していますか？
すべてのトピックの埋め込みを生成しましたか？
HyDE検索にはどのモデルを使用していますか？
- text-embedding-ada-002
- 私の知る限りはい
- gpt-3.5-turbo
少しテストしてみました。あまり一貫性はありませんでしたが、車のヘッドライトの前でウサギのようにスタイルを使っていました。
フィンランド語でも間違いなくできます。AIとマイナー言語、そしてユーザーに関する根本的な問題がもっとあると思います。
まず、OpenAIはフィンランド語を処理するのに十分な資料を持っていませんが、AIが学習のために「盗む」ことができる資料が十分でないすべての言語に状況が含まれていると確信しています。つまり、セマンティックは他の質問よりもはるかに難しく、ChatGPTが英語やその他の主要言語以外の言語を使用する場合、それらは非常に困難です。
GPT-4はGPT-3.5-turboよりも正確なようです。しかし、3.5によるヒットは10回中8回がノイズだったかもしれませんが、Discourseでさえタグのみを使用して正しい2つを提供できたのに対し、GPT-4は成功率が約50％でした。はい、それらは統計的な数字です。
セマンティックアプローチが役立つ検索を作成するのは、実際には非常に困難です。少なくとも私にとっては、期待していた結果があったからです。したがって、それは純粋なセマンティック検索の問題だけでなく、その文から作成された検索用語のリストを検索する、不正確な検索文を使用した検索でもあります。はい、それもセマンティック検索です。
私の非常に弱い点は、セマンティックコンポーネントは期待どおりに機能しますが、問題はAI自体の制限とユーザーの過度の期待から来ています。そして、英語以外の言語はそれ自体問題ではありません。
しかし…
セマンティックフルページ検索は非常に遅いです。私のVPSの技術的な弱さ（RAM不足、魔法の生き物など）を非難してもよいでしょうか？ここでは速いからです。
第二に…AIによるヒットを、Discourseによって生成されたもののデフォルトとして提供できる時期はありますか？
物事やトピックをまとめるために：私は非常に間違っていました。それは 3.5 や 4 とは何の関係もありませんでした。原因は、モバイルでのセマンティック検索の動作でした。3 文字入力後に検索が開始され、結果は非常に不正確になります。詳細フィルターが開かれたとき、または検索ボタンがクリックされたとき（私の記憶が正しければ）、AI は新しい検索を行い、結果を更新します。そして、「ヒット率」は正しい値に近くなります。