Erhalten viele keine Ergebnisse bei semantischer Suche

Ich habe Schwierigkeiten, mit der semantischen KI-Suche Ergebnisse zu erzielen, und wollte mich mit allen in Verbindung setzen, um zu sehen, ob Sie Ideen haben, was falsch sein könnte.

Wenn ich ein einfaches Beispiel nehme und nach „shopify“ suche, sehen Sie, dass ich viele normale Ergebnisse erhalte, aber keine KI-Ergebnisse. Wenn ich dies mit der Suche nach „shopify“ in der Discourse Meta-Community vergleiche, sehen Sie, dass ich viele normale Ergebnisse und viele KI-Ergebnisse erhalte. Ich habe komplexere und spezifischere Fragen ausprobiert, aber ich erhalte immer noch keine Ergebnisse.

Was unsere Einrichtung betrifft, verwenden wir gpt-4o-mini, und das ist korrekt unter LLMs eingerichtet. „AI embeddings semantic search enabled“ ist aktiviert. Wir verwenden „text-embedding-ada-002“ für die Embeddings.


2 „Gefällt mir“

Danke für die Meldung, das Team wird sich das ansehen!

Danke, Sam! Ich wollte nur sichergehen, dass ich hier nichts Offensichtliches übersehe, da es auf deiner eigenen Website besser zu funktionieren scheint.

Das Einzige, was mir einfällt, ist, dass wir möglicherweise noch nicht mit dem Zurückfüllen von Embeddings auf Ihrer Website fertig sind. Wir werden uns das ansehen.

Hallo @tyler.lamparter,

Auf den ersten Blick ist ein Problem, das ich mit Ihrer aktuellen Website-Konfiguration gefunden habe, dass Sie zwar text-embedding-ada-002 verwenden, aber die Embeddings-Konfigurationen für Prompts ausgefüllt haben, die für dieses Modell nicht unterstützt werden. Ich habe die Anweisungen, die Sie dort hinterlassen hatten, entfernt und die Embeddings auf Ihrer Website neu generiert.

Ich aktualisiere auch den Tooltip für diese Einstellungen, um diese Verwirrung in Zukunft zu vermeiden.

Ansonsten habe ich versucht, nach „shopify integration“ zu suchen, und ich habe das folgende hypothetische Suchdokument erhalten:

was mit dem übereinstimmt, was wir erwarten.

Können Sie jetzt eine Suche durchführen und Ihre Erfahrungen teilen?

@Falco, das scheint viel besser zu funktionieren, danke! Ich hatte die Prompts unter der Embedding-Konfiguration hinzugefügt, in dem Versuch, sie zu verbessern, aber natürlich hatte das keine Auswirkung.

2 „Gefällt mir“

@Falco vielleicht habe ich mich zu früh gefreut. Immer wenn ich jetzt suche, findet die KI immer genau 40 Ergebnisse, egal wonach ich suche. Viele der Ergebnisse sind auch nicht sehr relevant (z. B. wird das Thema „Über diese Kategorie“ vorgeschlagen).



1 „Gefällt mir“

Ich werde es mit einem anderen Embeddings-Modell versuchen. Ich melde mich in ca. 1 Stunde zurück.

1 „Gefällt mir“

Das ideale Ergebnis für diese Suchanfrage wäre eine Antwort, die angibt, welche JavaScript-Version von Celigo verwendet wird, möglicherweise mit Referenzen auf die offizielle Dokumentation oder Support-Artikel, die diese Information bestätigen.

Ich würde in diesem speziellen Fall 0 Suchergebnisse und 0 KI-Ergebnisse erwarten. Wir unterstützen ES6/ECMAScript2015 JS (ja, sehr alt), aber es ist noch in keinem Community-Beitrag enthalten.

Ohhhhh, ich verstehe. Das wird in diesem Fall nicht funktionieren.

Die Art und Weise, wie unsere aktuelle KI-Suche funktioniert:

  • Nimmt Benutzereingaben entgegen
  • Erstellt einen neuen Beitrag dazu, der die Forenbeschreibung berücksichtigt
  • Gibt die semantisch ähnlichsten Themen dazu zurück

Es gibt keine Distanzschwelle, bei der wir die Suche abbrechen, da das Ermitteln einer allgemeinen Schwelle, die alle Tausenden von Discourse-Instanzen abdeckt, nicht trivial ist. Dies wird unter Setting a similarity threshold for semantic search diskutiert.

Wir arbeiten an einem neuen Ansatz, der eine standardmäßigere LLM + RAG-Suche durchführt und eine konversationelle Antwort zurückgibt, bei der Sie die Eingabeaufforderung so anpassen können, dass “keine Ergebnisse gefunden” angezeigt wird. Dies wird in den nächsten Wochen verfügbar sein. Ich werde Sie hier benachrichtigen, wenn Sie es testen können.

2 „Gefällt mir“

Das wäre großartig. Das habe ich versucht, indem ich die Prompts in den Embeddings-Bereich eingefügt habe. Da man jetzt keinen Schwellenwert festlegen kann, sehen wir deshalb immer etwa 40 Ergebnisse?

Ja, genau.

Heute funktioniert die KI-Suche als Failover-System, wenn die Standardsuche keine Ergebnisse liefert, und fungiert als übermächtiges Synonymwörterbuch. In Ihrem Fall hat die Suchanfrage jedoch keine möglichen Ergebnisse im gesamten Forum, was nicht der Anwendungsfall ist, für den sie entwickelt wurde.

Bleiben Sie dran für die nächste Version der Suche, sie wird dem, was Sie wollen, näher kommen.

3 „Gefällt mir“

Kann ich unser Einbettungsmodell wieder auf text-embedding-ada-002 umstellen?

1 „Gefällt mir“

@tyler.lamparter schau dir Conversational AI Search coming to Discourse AI an. Lass mich wissen, ob du es auf deiner Seite testen möchtest.

2 „Gefällt mir“

Ja, ich würde das gerne auf unserer Website testen. Ich habe es auf Ihrer Website getestet und auch den vorhandenen Schalter „50 Ergebnisse mit KI ausgeblendet“ gesehen, wenn die Vollsuche aktiv ist. Nutzt dieser Schalter immer noch die vorherige HyDE-Suche?

Die neue Funktion verwendet den Schalter überhaupt nicht. Sie zeigt die konversationelle Antwort über dem Standard-Sucherlebnis an und ist hier in Verbindung mit der bestehenden Schlüsselwort- und semantischen Suche.

Das habe ich mir auch gedacht. Wenn die neue Funktion gut für uns funktioniert, können wir den HyDE-Schalter deaktivieren.

1 „Gefällt mir“

Könnte diese Persona ein benutzerdefiniertes Tool haben? Ich denke, dies könnte eine Möglichkeit sein, relevante Dokumentation aus unserer externen Wissensdatenbank zu beziehen, um diese in Suchergebnissen anzuzeigen, ohne mit dem Bot zu interagieren.

1 „Gefällt mir“

Ja, es kann all das, wie unter Conversational AI Search coming to Discourse AI beschrieben.

2 „Gefällt mir“