Gibt es Daten zur Latenz für semantische Suche und semantisch verwandte Themen im Vergleich zur Schlüsselwortsuche und vorgeschlagenen Themen?
Vielen Dank im Voraus.
Können Sie näher erläutern, was Sie hier unter Latenz verstehen?
Für verwandte Themen gibt es keine zusätzlichen Laufzeitkosten, da alle Einbettungen vorab berechnet werden. Ganz im Gegenteil, die Abfrage von verwandten Themen ist schneller als unsere alte Abfrage für vorgeschlagene Themen, und wir cachen verwandte Themen für eine noch schnellere Leistung.
Was die KI-Suche betrifft, so verursacht unser aktueller HyDE[1]-Ansatz erhebliche Latenzzeiten, weshalb sie asynchron erfolgt und dem Benutzer zuerst die Standard-Suche mit der Option angezeigt wird, diese mit KI-Ergebnissen zu ergänzen, wenn diese verfügbar sind. Hier auf Meta sind die KI-Suchergebnisse im Durchschnitt 4 Sekunden nach den normalen Suchergebnissen verfügbar.
GPT-4: HyDE steht für Hypothetical Document Embeddings, eine Technik, die bei der semantischen Suche verwendet wird, um Dokumente anhand von Ähnlichkeiten in ihrem Inhalt zu finden. Dieser Ansatz ermöglicht präzisere und kontextbezogenere Suchergebnisse, indem die konzeptionellen Ähnlichkeiten zwischen Dokumenten bewertet werden, anstatt sich ausschließlich auf den Abgleich von Schlüsselwörtern zu verlassen. Er stellt eine Zero-Shot-Learning-Technik dar, die die Sprachverständnisfähigkeiten von GPT-3 mit kontrastiven Textkodierern kombiniert und so die Fähigkeit der KI verbessert, natürliche Sprachdaten nuancierter und effektiver zu verstehen und zu verarbeiten. ↩︎
3 „Gefällt mir“
Genau das, was ich gesucht habe. Danke, Falco.
Gab es Untersuchungen zu Möglichkeiten, die Latenz für die semantische Suche zu reduzieren?
Die erste Version von AI Search hatte eine deutlich bessere Latenz, aber auch deutlich schlechtere Ergebnisse.
Für die nächste Version haben wir mehrere Pläne zur Reduzierung der Latenz:
- Verwendung von Embeddings auf Post-Ebene anstelle von Embeddings auf Topic-Ebene
- Verwendung eines Re-Ranker-Modells zum Sortieren von Suchergebnissen
- HyDE optional machen
Wir glauben, dass dies zu besseren Suchergebnissen führen und den Prozess auch beschleunigen wird. Und in Verbindung mit der neuen Hardware, die wir allen unseren gehosteten Kunden ohne zusätzliche Kosten anbieten und die Embeddings-Inferenz in nur 2 ms durchführen kann, stehen wir erst am Anfang dessen, was hier möglich ist.
2 „Gefällt mir“
Cool. Danke für die Einblicke, Falco.
Hier sind noch ein paar Fragen, da wir dies für unsere Communities aktivieren möchten.
- Es scheint, wenn Sie den Schalter umlegen, um semantische Suchergebnisse anzuzeigen, dass dem Benutzer eine Mischung aus Ergebnissen von der semantischen Such-API und der Schlüsselwort-Such-API angezeigt wird. Ist das richtig? Wenn ja, wie werden diese beiden Ergebnisgruppen gegeneinander eingestuft?
- In diesem Zusammenhang, können Sie etwas dazu sagen, wie die Sortierung nach: Wörter mit semantischen Ergebnissen funktioniert. Mir fällt zum Beispiel auf, dass ein Artikel in einer Sortierung mit einem Sternchen-Symbol daneben angezeigt wird und in einer anderen nicht.
1 „Gefällt mir“
Ja, genau.
Mithilfe einer Technik namens „Reciprocal Rank Fusion“. Wir können in Zukunft zu einem Re-Ranker wechseln.
Die semantische Suche ist mit Sortieroptionen nicht kompatibel, da wir keine Entfernungsbegrenzung berechnen. Sie soll jede Sortierreihenfolge, die nicht nach Relevanz erfolgt, deaktivieren/blockieren.
1 „Gefällt mir“
Cool, danke Falco. Soweit wir sehen, liefert die semantische Such-API nur semantische Suchergebnisse an den Client. Also findet die Reciprocal Rank Fusion vermutlich auf dem Client statt. Ist das korrekt? Hätten wir auch die Möglichkeit, diesen Re-Ranking-Algorithmus selbst auszutauschen, wenn wir mit verschiedenen Optionen experimentieren wollten?
1 „Gefällt mir“
Ja, genau.
Technisch gesehen, da alles clientbasiert ist, könnten Sie dies überschreiben.
Das heißt, auf lange Sicht sehe ich uns immer mehr auf Re-Ranker-Modelle verlassen, die aus offensichtlichen Gründen alle serverseitig sein werden.
Verstanden. Danke!
1 „Gefällt mir“