Discourse AI - Verwandte Themen

[Discourse]

Diese Anleitung erklärt, wie die Funktion „Verwandte Themen“ des Plugins Discourse AI aktiviert und konfiguriert wird.

Erforderliches Benutzerniveau: Administrator

Verwandte Themen hilft Benutzern, relevante Inhalte zu entdecken, indem semantisch ähnliche Themen basierend auf dem aktuell gelesenen Thema vorgeschlagen werden. Dies verbessert die Inhaltserkundung und steigert das Benutzerengagement.

Funktionen

• Semantische Textähnlichkeit: Geht über die Schlüsselwortsuche hinaus, um wirklich verwandte Inhalte zu finden
• Umschalten zwischen „Vorgeschlagenen“ und „Verwandten“ Themen
• Verfügbar für anonyme und eingeloggte Benutzer

Verwandte Themen aktivieren

Verwandte Themen ist standardmäßig für alle Discourse-gehosteten Kunden aktiviert, bei denen das Discourse AI Plugin aktiviert ist.

Voraussetzungen

Verwandte Themen erfordert Embeddings, um zu funktionieren.

Wenn Sie bei uns hosten, werden Embeddings mithilfe eines Open-Source-Modells bereitgestellt. Es ist keine zusätzliche Einrichtung erforderlich.

Selbst gehostete Instanzen müssen ein Embedding-Modell über einen unterstützten Anbieter konfigurieren.

Konfiguration

1. Gehen Sie zu Admin → Plugins → Discourse AI → AI Features
2. Suchen Sie das Modul Embeddings und konfigurieren Sie es:
   • Setzen Sie ai_embeddings_selected_model auf eine von Ihnen konfigurierte Embedding-Definition
   • Aktivieren Sie ai_embeddings_enabled, um Embeddings zu aktivieren
3. Aktivieren Sie ai_embeddings_semantic_related_topics_enabled, um die Funktion Verwandte Themen zu aktivieren

Einrichten eines Embedding-Modells

Bevor Sie Embeddings aktivieren, müssen Sie ein Embedding-Modell konfigurieren. Gehen Sie zu Admin → Plugins → Discourse AI → Embeddings, um eine neue Embedding-Definition zu erstellen. Sie können aus mehreren Voreinstellungen wählen:

• Open AI: text-embedding-3-small oder text-embedding-3-large (empfohlen für die meisten Websites)
• Google: gemini-embedding-001
• Hugging Face (Self-hosted Inference): multilingual-e5-large (empfohlen für nicht-englische oder mehrsprachige Websites), bge-large-en oder bge-m3

Sie müssen einen API-Schlüssel (oder einen AI Secret) und eine Endpunkt-URL für den gewählten Anbieter angeben.

Zusätzliche Einstellungen

Die folgenden Einstellungen ermöglichen es Ihnen, die Funktion Verwandte Themen fein abzustimmen:

• ai_embeddings_semantic_related_topics: Maximale Anzahl von Themen, die im Abschnitt „Verwandte Themen“ angezeigt werden sollen (Standard: 5)
• ai_embeddings_semantic_related_include_closed_topics: Ob geschlossene Themen in den verwandten Ergebnissen enthalten sein sollen (Standard: true)
• ai_embeddings_semantic_related_age_penalty: Wenden Sie eine Strafe auf ältere Themen an, sodass neueren Inhalten der Vorzug gegeben wird (Standard: 0.0, Bereich: 0.0–2.0)
• ai_embeddings_semantic_related_age_time_scale: Zeitskala in Tagen für die Altersstrafe (Standard: 365)

Technisches FAQ

Zum Anzeigen eines Diagramms der Architektur von Verwandte Themen erweitern

Die Übersicht ist, dass bei der Erstellung/Aktualisierung eines Themas Folgendes geschieht:

sequenceDiagram
    User->>Discourse: Erstellt Thema
    Discourse-->>Embedding Microservice: Generiert Embeddings
    Embedding Microservice-->>Discourse: 
    Discourse-->>PostgreSQL: Speichert Embeddings 

Und beim Besuch eines Themas:

sequenceDiagram
    User->>Discourse: Besucht Thema
    Discourse-->>PostgreSQL: Fragt nach den ähnlichsten Themen
    PostgreSQL-->>Discourse: 
    Discourse->>User: Präsentiert verwandte Themen 

Wie funktioniert Verwandte Themen?

• Wenn ein Benutzer ein Thema besucht, fragt Discourse die Datenbank nach den semantisch ähnlichsten Themen, basierend auf deren eingebetteten Darstellungen. Diese verwandten Themen werden dem Benutzer dann präsentiert, was zur weiteren Erkundung der Inhalte der Community anregt.

Wie werden Themen-/Beitragsdaten verarbeitet?

• Bei Discourse-gehosteten Websites werden Daten in unserem sicheren virtuellen privaten Rechenzentrum verarbeitet. Bei selbst gehosteten Websites hängt die Datenverarbeitung von dem von Ihnen gewählten Drittanbieter ab.

Wo werden die Embedding-Daten gespeichert?

• Die Embedding-Daten werden in Ihrer Discourse-Datenbank gespeichert, zusammen mit anderen Forendaten wie Themen, Beiträgen und Benutzern.

Welche Embedding-Modelle sind verfügbar?

• Discourse AI unterstützt Modelle von OpenAI (text-embedding-3-small, text-embedding-3-large), Google (gemini-embedding-001), Hugging Face-kompatiblen Endpunkten (bge-large-en, bge-m3, multilingual-e5-large) und Cloudflare Workers AI. Sie können auch benutzerdefinierte Embedding-Modelle über die Admin-Oberfläche konfigurieren.

[EricGT]

Etwas, das man im Auge behalten sollte.

Bei der Überprüfung vieler Beiträge in verwandten Themen für eine englische Website (OpenAI) stelle ich fest, dass spanische Themen tendenziell zusammengefasst werden, und vermute, dass, wenn sie zuerst ins Englische übersetzt würden, jeder Beitrag einen anderen Vektor hätte und somit mit anderen Beiträgen gruppiert würde.

---

---

Ein Nebeneffekt dieser Funktion für Moderatoren ist die Überprüfung, ob die Kategorien der in verwandten Themen aufgeführten Beiträge korrekt sind.

Wenn ich jeden neuen Beitrag überprüfe, überprüfe ich auch die verwandten Themen. Dies wird zu einer effektiven Methode, um Themen zu identifizieren, die mit der falschen Kategorie erstellt wurden.

FYI - Eine verwandte Idee wurde in dieser Funktionsanfrage festgestellt.

Have the AI read the first post of a topic

Suggestion Have the AI read the first post of a topic to make sure It is coherent The category and the tags agree. (I know this can be configured but why not let the AI do it) The content of the post agrees with the category and tags. The content of the post agrees with the title of the post. It is relevant to the forum. (I know spam detectors will catch some of this but sometimes it is not spam and just doesn’t belong) Users may not use the correct category and/or tags and then ask a quest…

---

---

Dieses Thema finden, wenn man oft den folgenden Link benötigt, der nicht so leicht zu finden ist, also hier vermerkt.

Discourse AI - Related Topics: Enhancing Content Exploration

At Discourse we are always working to elevate your community experience.  Our Discourse AI modules are designed to make both the management and member experience of your community easier, simpler, faster, and hopefully, more fun. This is a companion discussion topic for the original entry at https://blog.discourse.org/2023/12/ai-related-topics-enhancing-content-exploration

[Falco]

@EricGT

Etwas, das man im Auge behalten sollte.

Bei der Überprüfung vieler Beiträge in verwandten Themen für eine englische Website (OpenAI) stelle ich fest, dass Themen auf Spanisch tendenziell gruppiert werden, und vermute, dass, wenn sie zuerst ins Englische übersetzt würden, jeder Beitrag einen anderen Vektor hätte und somit mit anderen Beiträgen zusammengefasst würde.

Dieses Verhalten wird vom Modell gesteuert und scheint ein bekanntes Problem zu sein:

Does ada support other languages than English?

Ich denke, das von uns empfohlene OSS-Modell für mehrsprachige Websites leistet hier bessere Arbeit, aber wir müssen es noch bei mehr Kunden einführen, um dies zu validieren.

[RBoy]

@Saif

• ai_embeddings_enabled für das Embeddings-Modul aktivieren, das für die Funktion „Verwandte Themen“ benötigt wird

Ich kann diese Option nicht aktivieren:

Fehlt mir hier etwas oder reicht Gemini allein nicht aus?

UPDATE: Die Anweisungen und die Fehlerbeschreibung sollten aktualisiert werden, um hinzuzufügen, dass das ai embeddings model auch aktualisiert werden sollte, um mit dem Anbieter übereinzustimmen, andernfalls kann ai_embeddings_enabled nicht aktiviert werden. In der Parameterbeschreibung fehlt Gemini als Option.

[Bathinda (Bathinda Helper)]

Was soll ich hier eingeben, bitte:\n\n

\n\nIch möchte das obige Feld ausfüllen, weil ich die erste der 4 unten gezeigten Optionen aktivieren möchte:\n

[Jagster (Jakke Flemming)]

@Bathinda

Was fülle ich hier bitte aus?

Wenn Sie OpenAI verwenden, nichts.

[Bathinda (Bathinda Helper)]

Dann bereitet mir diese erste Option (Embeddings-Modul) Sorgen, ich kann sie nicht aktivieren:

[Jagster (Jakke Flemming)]

Die meisten davon sind leer. Aber ai embeddings discourse service api key ist Ihr OpenAI API und ai embeddings discourse service api endpoint ist https://api.openai.com/v1/embeddings. Das Modell sollte text-embedding-3-large sein (sicher, es kann auch small sein, aber das hat einige Probleme).

[Overgrow]

@Jagster

Das Modell sollte text-embedding-3-large sein (sicher, es kann auch small sein, aber es hat einige Probleme).

Welche Ergebnisse hattest du beim Vergleich von small und large? Ich weiß, dass es einen Unterschied in den Dimensionen gibt, der die Präzision des Modells beeinflusst. Die small-Version ist 5x günstiger. Ist sie in der realen Welt für die Themenähnlichkeit wirklich unbrauchbar? Unser Forum ist zu 99 % auf Englisch.

@Falco

Ich denke, das OSS-Modell, das wir für mehrsprachige Websites empfehlen, macht das besser

Ich wäre sehr daran interessiert, mehr zu erfahren. Können Sie bitte näher erläutern, wo all-mpnet-base-v2 im Vergleich zu OpenAI-Modellen für eine rein englische Website steht?

[Jagster (Jakke Flemming)]

Embeddings sind so günstig, dass der Preis keine Rolle spielt – es sei denn, es gibt unzählige Beiträge, bei denen 0,01 Cent Gesamtkosten ausmachen.

Aber ehrlich gesagt… ich habe keine Unterschiede gesehen. Und für mich, da die Chance besteht, dass ich RAG und Embeds nicht richtig nutzen kann, sind beide gleichermaßen nutzlos. Ich weiß, das widerspricht der öffentlichen Meinung, aber auf meiner Website findet und nutzt dieses System einfach nichts Nützliches.

Wahrscheinlich liegt es an den OpenAI-Modellen, aber ich habe nicht genug Geld, um diese professionelleren Lösungen zu nutzen.

[haydenjames]

@Discourse

Für OpenAI oder Azure OpenAI:
Setzen Sie ai embeddings model auf text-embedding-ada-002

Ich habe bisher das Modell text-embedding-3-small verwendet, bevor ich das hier gelesen habe. Ist text-embedding-ada-002 viel besser?

[sam (Sam Saffron)]

Ada ist die vorherige Generation