Semantische Suche funktioniert wirklich gut und liefert bessere Ergebnisse als die normale Suche. Wir können dieses Suchsystem auf der gesamten Website verwenden, aber es ist nicht standardmäßig enthalten. Es muss bei der Suche ausgewählt werden.
Wir überarbeiten die Funktionsweise der semantischen Suche, und sie wird ihre Ergebnisse neben den Standard-Suchergebnissen anzeigen, was Ihren Anforderungen entsprechen sollte. Sie sollte in ein paar Wochen verfügbar sein.
Wir haben gerade die semantische Suche in die reguläre Suche in Discourse AI integriert. Sie verwendet jetzt HyDE, um bessere Ergebnisse zu erzielen. Lassen Sie mich wissen, wie es bei Ihnen funktioniert. Eine große Änderung ist, dass Sie sowohl das Embeddings-Modul als auch einen LLM-Dienst (entweder OpenAI, Anthropic oder Llama2) konfiguriert haben müssen.
Nachdem ich ein wenig damit gespielt habe, hier einige Beobachtungen:
Die Ergebnisse unterscheiden sich von der regulären Suche. Nicht immer besser, denn manchmal scheint eine Schlüsselwort-/Relevanzsuche tatsächlich den besten Treffer zu erzielen, wenn man die zu suchenden Schlüsselwörter kennt, aber …
Es liefert eine breitere Palette von Ergebnissen, und diese sind manchmal wirklich nützlich.
Es ist im Moment für mich wirklich langsam. Mir ist bewusst, dass dies bis zu einem gewissen Grad unvermeidlich ist, da vor der Abfrage ein LLM-Generierungsschritt steht, daher bin ich mir nicht sicher, ob dies behoben werden kann, aber es ist gut zu wissen. Es scheint langsamer zu sein als ein kurzer GPT-3.5-Aufruf …
Einige UI-Punkte:
Es ist nicht immer offensichtlich in den zurückgegebenen Ergebnissen, welcher Teil relevant ist. In einer App, an der ich arbeite, zerlege ich Dokumente in recht kleine Teile, bevor ich Embeddings (Sätze/Absätze) erstelle, und das bedeutet, dass beim Suchen/Abrufen jeder Satz entsprechend der semantischen Ähnlichkeit eingefärbt werden kann. Dies wäre eine Art Hervorhebung der Schlüsselwörter aus der Suche, würde aber eher wie eine Wärmekarte aussehen, bei der semantisch ähnliche Teile heiß und unähnliche kalt eingefärbt sind.
Es ist ärgerlich, auf die semantischen Ergebnisse klicken zu müssen, um sie zu erweitern.
Haben Sie über Möglichkeiten nachgedacht, Schlüsselwort- und semantische Ergebnisse zu kombinieren? Wäre es möglich, „Ähnlichkeit“ oder „Relevanz“ als Sortierreihenfolge für den Ergebnisdatensatz zu wählen? Auf diese Weise könnten Sie, wenn Sie „Ähnlichkeit“ wählen, mit schlüsselwortbasierten Ergebnissen beginnen und Hyde-abgerufene Dokumente in die Liste einfügen, sobald sie eintreffen.
Es wäre wirklich interessant (zumindest für mich), das hypothetische Dokument sehen zu können, das zur Ähnlichkeitsübereinstimmung verwendet wurde. Ich kann mir vorstellen, dass man dieses Dokument manchmal bearbeiten möchte … und da die Kosinus-Ähnlichkeit relativ günstig ist (im Vergleich zum LLM-Generierungsaufruf), wäre es in der Benutzeroberfläche immer noch recht schnell, die Ergebnisse zu aktualisieren, während der Benutzer seine Abfrage/sein hypothetisches Dokument aktualisiert.
Alles in allem – das ist wirklich cool, danke! Es wird großartig sein, wenn dies so implementiert ist, dass der Chatbot die Ergebnisse nutzen kann.
Wir haben es diese Woche allein durch einige clevere Optimierungen von 45 Sekunden auf 7 Sekunden gebracht und verwenden es, um einen Cache zu füllen, sodass wiederkehrende Suchen sofort erfolgen.
Im Moment machen wir ein einzelnes Embedding pro Thema. Wir planen, Embeddings pro Beitrag zu erstellen, und das wird diese Suche in Zukunft noch besser machen.
Die aktuelle Benutzeroberfläche ist temporär und wurde nicht von unserem Designteam erstellt. Unser Ziel war es, sie dort zu platzieren und unsere Community damit spielen zu lassen, um Feedback zu den funktionalen Aspekten der Funktion zu sammeln. Eine richtige Benutzeroberfläche dafür wird in Kürze folgen.
Das würde dazu führen, dass sich die Ergebnisse bewegen, während Sie sie durchsuchen, was im UX ein großes No-Go ist. Unser Hauptziel ist es, einen Weg zu finden, beides so zu präsentieren, dass sie hilfreich sind und das Sucherlebnis verbessern, ohne zu stören.
Ja, deshalb haben wir beides auf demselben Bildschirm und mit einer einzigen Eingabe stattfinden lassen, verglichen mit dem, was wir vorher hatten. Die weitere Integration beider hängt vom UI-Paradigma ab, das wir für diesen Bildschirm wählen.
Auf Ihrer eigenen Instanz können Sie die ai_api_audit_logs dafür abfragen. Zum Beispiel führte eine Suche nach Discourse app freezing on iOS hier früher zu folgendem hypothetischen Beitrag:
Betreff: Discourse-App friert unter iOS ein
Hallo zusammen, ich benutze die Discourse-App seit einigen Monaten auf meinem iPhone und in letzter Zeit friert sie ziemlich oft ein. Die App friert einfach ein und reagiert nicht mehr, normalerweise, wenn ich versuche, neue Beiträge zu laden oder zwischen Kategorien zu navigieren. Es scheint häufiger vorzukommen, wenn ich mehrere Themen gleichzeitig geöffnet habe und zwischen ihnen hin und her wechsle. Die Ladeanzeigen drehen sich endlos und das Tippen auf Schaltflächen tut nichts. Schließlich wird sie neu geladen, aber es wird ziemlich ärgerlich. Ich verwende die neueste Version von iOS 13.3 auf einem iPhone 8 Plus. Haben andere diese Probleme in letzter Zeit auch bemerkt? Die Foren selbst laden im mobilen Browser einwandfrei, es ist nur die spezielle App, die sich seltsam verhält. Ich habe versucht, die App zu erzwingen und neu zu starten, aber das scheint das Problem nicht zu beheben. Haben Sie Vorschläge von anderen Discourse-Mobilnutzern, wie diese Einfrierprobleme gelöst werden können? Ich möchte die App nicht mehr benutzen, wenn sie weiterhin einfriert. Vielen Dank im Voraus für jede Hilfe oder jeden Rat!
Seit wir ein paar Anpassungen am Prompt vorgenommen haben, bin ich unglaublich überrascht von den Ergebnissen.
Das ist ein interessanter Vorschlag, aber es ist ziemlich kompliziert, diesen Ablauf für den durchschnittlichen Benutzer zu erklären. Das gesagt, ich mag, was Shopify für seine Admin-Benutzeroberfläche gemacht hat, wo sie es Ihnen erlauben, einige von der KI vorgeschlagene Produktempfehlungen zu überschreiben. Irgendwann könnten wir dasselbe hier tun.
Das ist seit zwei Tagen der Fall. Der KI-Bot bezieht 1/4 seiner internen Suchergebnisse mit dieser Technik.