セマンティックAI検索で結果が得られないため、問題の原因について皆さんのアイデアを伺いたいと思います。
簡単な例として「shopify」で検索すると、通常の検索結果はたくさん表示されますが、AIによる検索結果は表示されません。一方、Discourse Metaコミュニティで「shopify」を検索すると、通常の検索結果とAIによる検索結果の両方が多数表示されます。より複雑で具体的な質問を試しましたが、やはり結果は得られませんでした。
設定としては、gpt-4o-miniを使用しており、LLMで正しく設定されています。「AI embeddings semantic search enabled」は有効になっています。埋め込みには「text-embedding-ada-002」を使用しています。
ご報告ありがとうございます。チームが確認いたします！
サム、ありがとう！あなたのサイトではもっとうまく機能しているように見えるので、ここで何か明白なことを見逃していないか確認したかったのです。
思いつく唯一のことは、サイトの埋め込みのバックフィルがまだ完了していない可能性があるということです。確認してみます。
tyler.lamparter様
拝見したところ、現在のサイト設定で1つ問題が見つかりました。text-embedding-ada-002を使用しているにもかかわらず、プロンプトの埋め込み設定が入力されていますが、これは当該モデルではサポートされていません。そちらに設定されていた指示を削除し、サイトの埋め込みを再生成しました。
また、これらの設定に関するツールチップを更新し、今後このような混乱を避けるようにします。
それ以外では、「shopify integration」で検索を試みたところ、以下の架空の検索ドキュメントが得られました。
これは期待どおりの内容と一致しています。
今すぐ検索を試して、ご経験を共有していただけますか？
@Falco こちらの方がずっとうまく機能しているようです。ありがとうございます！埋め込み構成の下にプロンプトを追加して改善しようとしましたが、もちろん効果はありませんでした。
@Falco 早まったことを言ったかもしれません。今検索すると、検索内容に関わらず、AIは常にちょうど40件の結果が見つかると表示されます。また、関連性の低い結果（たとえば「このカテゴリについて」トピックを提案するなど）も多く含まれます。
別の埋め込みモデルを試してみます。約1時間後に報告します。
このクエリに対する理想的なトピック結果は、「Celigo が使用している JavaScript のバージョン」についての詳細な情報や公式ドキュメント、リリースノート、更新履歴などになるでしょう。
その特定のケースでは、検索結果が0件、AIの結果も0件になるはずです。ES6/ECMAScript2015のJavaScriptをサポートしていますが（はい、非常に古いものです）、現時点ではコミュニティの投稿には含まれていません。
ああ、なるほど。このケースでは機能しませんね。
現在のAI検索の仕組みは以下の通りです：
検索を打ち切る距離の閾値はありません。なぜなら、数千ものDiscourseインスタンスすべてをカバーする一般的な閾値を特定するのは簡単ではないからです。これは Setting a similarity threshold for semantic search で議論されています。
より標準的なLLM + RAG検索を行い、会話形式の応答を返す新しいアプローチをリリースする予定です。このアプローチでは、プロンプトを「結果が見つかりませんでした」と言うように調整できます。これは数週間以内にリリースされる予定です。テストできるようになりましたら、こちらでご連絡します。
それは素晴らしいですね。埋め込みセクションにプロンプトを追加しようとしていたのはそのためです。現在、しきい値を設定できないため、常に約40件の結果が表示されるのはそのためですか？
はい、その通りです。
現在、AI検索は、標準検索で結果が返されない場合のフェイルオーバーシステムとして機能し、強力な類義語辞書のように動作します。しかし、今回のケースでは、検索クエリがフォーラム全体でまったく一致する結果を持たず、これはAI検索が設計されたユースケースではありません。
次のバージョンの検索にご期待ください。ご希望に近いものになるはずです。
埋め込みモデルを text-embedding-ada-002 に戻しても大丈夫ですか？
@tyler.lamparter さん、Conversational AI Search coming to Discourse AI を確認してください。あなたのサイトでテストしたい場合はお知らせください。
はい、私たちのサイトでこれをテストしたいと思います。あなたのサイトでテストしたところ、フル検索時に既存の「AIを使用して50件の結果を非表示にする」トグルも確認しました。このトグルは以前のHyDE検索を使用していますか？
新しい機能はトグルを全く使用しません。既存のキーワード検索とセマンティック検索と並行して、会話形式の回答が標準の検索エクスペリエンスの上に表示されます。
それが私が考えていたことです。新機能がうまく機能すれば、HyDEトグルを無効にする可能性があります。
このペルソナにカスタムツールを紐付けることは可能でしょうか？外部ナレッジベースから関連ドキュメントをソース化し、ボットとやり取りせずに検索結果に表示する方法として考えています。
はい、Conversational AI Search coming to Discourse AI で指定されているように、すべて実行できます。
