Discourse AI - KI-Suche

:bookmark: Diese Anleitung erklärt, wie Sie die KI-Suchfunktion aktivieren und konfigurieren, die Teil des Discourse AI-Plugins ist.

:person_raising_hand: Erforderlicher Benutzer-Level: Administrator

Ähnlich wie bei Verwandte Themen hilft Ihnen die KI-Suche dabei, die relevantesten Themen mithilfe semantischer Textähnlichkeit zu finden, die über eine exakte Schlüsselwortsuche hinausgehen, die traditionelle Suchmaschinen verwenden. Dies führt zur Entdeckung von Themen, die keine exakten Übereinstimmungen sind, aber dennoch für die ursprüngliche Suche relevant sind. Wenn Sie nicht finden, wonach Sie suchen, ist die KI-Suche da, um zu helfen!

Funktionen

  • Semantische Textähnlichkeit: Geht über eine reine Schlüsselwortübereinstimmung hinaus und verwendet semantische Analyse, um Textähnlichkeit zu finden
  • KI-Schnellsuche: Fügt automatisch KI-Ergebnisse im Suchmenü-Popup hinzu, wenn nur wenige reguläre Ergebnisse gefunden werden (aktivierbar mit ai_embeddings_semantic_quick_search_enabled)
  • Umschaltbar für KI-Suche in der Vollseitensuche
  • Optionales HyDE (Hypothetical Document Embeddings): Verwendet ein LLM, um Abfragen für bessere Ergebnisse zu erweitern
  • Ergebnisse werden mit :sparkles: Symbol gekennzeichnet
  • Anwendbar auf anonyme und eingeloggte Benutzer

KI-Suche aktivieren

Voraussetzungen

Um die KI-Suche nutzen zu können, müssen Embeddings konfiguriert sein. Ein Large Language Model (LLM) ist optional erforderlich, wenn Sie HyDE (Hypothetical Document Embeddings) für eine verbesserte Suchqualität aktivieren.

Embeddings

Wenn Sie bei unserem Hosting sind, stellen wir eine Standardoption bereit. Für Self-Hosters folgen Sie der Anleitung unter Discourse AI - Embeddings

Large Language Model (LLM) (optional — für HyDE)

Ein LLM wird nur benötigt, wenn Sie die Einstellung ai_embeddings_semantic_search_use_hyde aktivieren, die ein LLM verwendet, um ein hypothetisches Dokument aus der Suchanfrage zu erstellen, bevor es eingebettet wird. Dies kann die Ergebnisqualität verbessern, führt aber zu zusätzlicher Latenz und Kosten.

Um loszulegen, können Sie diese über die Einstellungsseite Discourse AI - Large Language Model (LLM) settings page konfigurieren.

Konfiguration

  1. Navigieren Sie zu AdminPluginsDiscourse AIFeaturesEmbeddings, um alle Einstellungen für die KI-Suche zu finden
  2. Aktivieren Sie ai_embeddings_enabled für Embeddings
  3. Aktivieren Sie ai_embeddings_semantic_search_enabled, um die KI-Suche in der Vollseitensuche zu aktivieren
  4. Aktivieren Sie optional ai_embeddings_semantic_quick_search_enabled, um KI-Ergebnisse im Suchmenü-Popup hinzuzufügen
  5. Aktivieren Sie optional ai_embeddings_semantic_search_use_hyde, um HyDE für verbesserte Ergebnisse zu verwenden (erfordert ein LLM)

Technische FAQ

Für eine Übersicht der KI-Suchlogik (mit HyDE aktiviert) erweitern
mermaid height=255,auto
sequenceDiagram
    User->>+Discourse: Suche nach „Gamification“ 
    Discourse->>+LLM: Erstelle einen Artikel über „Gamification“ in einem Forum über<br>  „Discourse, ein Open-Source-Internetforumsystem.“
    LLM->>+Discourse: Gamification beinhaltet die Anwendung von Spieldesign-Elementen wie<br>Punkte, Abzeichen, Level und Bestenlisten auf Nicht-Spiel-Kontexte...
    Discourse->>+EmbeddingsAPI: Generiere Embeddings für „Gamification beinhaltet die Anwendung von Spieldesign...“
    EmbeddingsAPI->>+Discourse: [0.123, -0.321...]
    Discourse->>+PostgreSQL: Gib mir die nächsten Themen für [0.123, -0.321...]
    PostgreSQL->>+Discourse: Themen: [1, 5, 10, 50]
    Discourse->>+User: Themen: [1, 5, 10, 50]

Wie funktioniert die KI-Suche?

  • Wenn HyDE aktiviert ist (ai_embeddings_semantic_search_use_hyde), wird die Suchanfrage durch ein LLM geleitet, das einen hypothetischen Beitrag/Thema erstellt. Anschließend werden Embeddings aus diesem hypothetischen Beitrag generiert und verwendet, um auf Ihrer Website nach ähnlichen Übereinstimmungen zu suchen. Wenn HyDE deaktiviert ist (Standard), wird die Suchanfrage direkt eingebettet und für den Ähnlichkeitsabgleich verwendet. In beiden Fällen werden die Ergebnisse mit den regulären Suchergebnissen mithilfe von Reciprocal Rank Fusion (RRF) zusammengeführt, um die Top-Ergebnisse neu zu ordnen.

Wie werden Themen-/Beitragsdaten verarbeitet?

  • Wenn HyDE aktiviert ist, werden LLM-Daten von einem Drittanbieter verarbeitet; Einzelheiten entnehmen Sie bitte Ihrem jeweiligen Anbieter. Standardmäßig wird der Embeddings-Microservice zusammen mit anderen Servern ausgeführt, auf denen Ihre vorhandenen Foren gehostet werden. Hier ist kein Drittanbieter beteiligt, und diese spezifischen Informationen verlassen niemals Ihr internes Netzwerk in unserem virtuellen privaten Rechenzentrum.

Wohin gehen die Daten?

  • Wenn HyDE aktiviert ist, wird ein vom LLM-Anbieter erstellter hypothetischer Beitrag/Thema vorübergehend zusammen mit den Embeddings für dieses Dokument zwischengespeichert. Die Embedding-Daten werden in derselben Datenbank gespeichert, in der wir Ihre Themen, Beiträge und Benutzer speichern. Es ist eine weitere Datentabelle darin.

Wie sieht das „semantische Modell“ der Embeddings aus? Wie wurde es „trainiert“, und gibt es eine Möglichkeit zu testen, ob es genau auf die Themen in unseren „spezialisierten“ Communities angewendet werden kann?

  • Standardmäßig verwenden wir vortrainierte Open-Source-Modelle, wie dieses hier. Wir haben es für viele Kunden eingesetzt und festgestellt, dass es sowohl für Nischen- als auch für allgemeine Communities gut funktioniert. Wenn die Leistung für Ihren Anwendungsfall nicht ausreicht, haben wir komplexere Modelle bereit, aber unserer Erfahrung nach ist die Standardoption eine solide Wahl.
6 „Gefällt mir“

Ich habe einen kleinen UI-Bug für das ai embeddings semantic search hyde model festgestellt. Schritte zur Reproduktion

  1. AI Discourse-Plugin installieren
  2. Einstellungen öffnen → Gemini-Schlüssel konfigurieren
  3. ai embeddings semantic search enabled aktivieren
  4. ai embeddings semantic search hyde model zeigt Google - gemini-pro (nicht konfiguriert) an.

Nicht konfiguriert verschwindet erst, nachdem alle Konfigurationen aktiviert wurden und die Seite danach aktualisiert wurde.

2 „Gefällt mir“

Ich denke, das ist eine Einschränkung unserer Seite für die Website-Einstellungen, daher entschuldige ich mich dafür und freue mich, dass Sie es lösen konnten.

1 „Gefällt mir“

Eine Frage zur Semantik. In einigen KI-Modulen sehe ich einen Verweis auf die Verwendung von Gemini, während ich in anderen einen Verweis auf Gemini-Pro sehe. Beziehen sich diese auf unterschiedliche Modelle (Gemini Nano, Pro und Ultra) oder beziehen sie sich auf dasselbe LLM? Wenn ja, wofür steht Gemini selbst und spielt es eine Rolle, ob man ein kostenpflichtiges oder ein kostenloses Abonnement für Gemini hat?

1 „Gefällt mir“

Es gibt verschiedene Gemini-Modelle, wie die, auf die Sie hingewiesen haben. Je nachdem, welches Sie haben (wahrscheinlich Pro, da es derzeit kostenlos ist), stecken Sie einfach den API-Schlüssel in die entsprechende Einstellung. Die Einstellung gilt für jedes Gemini-Modell, das Sie haben.

Das hängt von Ihnen und davon ab, wie Sie Gemini nutzen möchten, aber beides sollte funktionieren.

Mehr dazu hier:

1 „Gefällt mir“

Gibt es eine Möglichkeit, etwas in den anfänglichen Prompt für das LLM einzuschleusen oder die Embeddings zu manipulieren, bevor sie an die normale Suche weitergegeben werden?

Ich versuche, Antworten von Mitarbeitern (autoritativer) von Community-Antworten zu verstärken (oder möglicherweise auszugliedern).

2 „Gefällt mir“

Derzeit unterstützen wir keine benutzerdefinierte LLM-Prompt-Injektion innerhalb der KI-Suche, obwohl dies in Zukunft etwas sein könnte, das wir hinzufügen.

Ich empfehle, eine Feature request zu stellen!

2 „Gefällt mir“

Ich habe gerade angefangen, mit KI-Suche zu experimentieren, und es gefällt mir bisher sehr. Ich sehe keinen Grund, sie nicht immer zu verwenden. Gibt es eine Möglichkeit, nur KI-Ergebnisse anzuzeigen (außer CSS zu verwenden, um .fps-result auszublenden, aber nicht .ai-result)?

Kannst du bitte auch erläutern, wo man die Schnellsuche finden kann?

[Zitat=“Discourse, Beitrag:1, Thema:282420”]
Ich sehe eine Option für KI in der Schnellsuche?

  • Die AI-Schnellsuchoption führt die KI-Suche schneller durch, indem sie das Erstellen des hypothetischen Beitrags überspringt. Manchmal ist diese Option schneller und liefert relevantere Ergebnisse, manchmal ist sie weniger effektiv.
    [/Zitat]
1 „Gefällt mir“

Hey, das war vorübergehend exklusiv auf Meta als Experiment verfügbar. Ich habe es aus dem OP entfernt – danke, dass Sie darauf hingewiesen haben.

Wir verwenden Discourse Algolia Search für die Autovervollständigungs-Suche in der Kopfzeile. Können wir mit der Verwendung von Discourse AI - AI Search fortfahren?

Ein Beitrag wurde in ein neues Thema aufgeteilt: Benutzereinstellungen für Discourse AI nicht sichtbar