ここでいうレイテンシとは、具体的にどのような意味でしょうか？
関連トピックについては、すべての埋め込みが事前に計算されているため、実行時の追加コストはかかりません。むしろ、関連トピックを見つけるためのSQLクエリは、古い推奨トピックのクエリよりも高速であり、関連トピックをキャッシュすることでさらにパフォーマンスが向上します。
AI検索については、現在のHyDE[1]アプローチは深刻なレイテンシを伴うため、非同期で実行され、ユーザーにはまず標準検索が表示され、AIの結果が準備できたときにそれを拡張するオプションが提供されます。Metaでは、AI検索結果は通常の結果が表示されてから平均して4秒後に準備されます。
GPT-4: HyDEはHypothetical Document Embeddingsの略で、セマンティック検索においてコンテンツの類似性に基づいてドキュメントを見つけるために使用される技術です。このアプローチは、キーワードの一致のみに依存するのではなく、ドキュメント間の概念的な類似性を評価することで、より正確で文脈的に関連性の高い検索結果を可能にします。GPT-3の言語理解能力と対照的テキストエンコーダーを組み合わせたゼロショット学習技術であり、AIが自然言語データをより微妙かつ効果的に理解・処理する能力を向上させます。 ↩︎