Discourse AI - Verwandte Themen

[Discourse]

Dieser Leitfaden erklärt, wie Sie die Funktion „Verwandte Themen“ des Discourse AI-Plugins aktivieren und konfigurieren.

Erforderliches Benutzerniveau: Administrator

Verwandte Themen helfen Benutzern, relevante Inhalte zu entdecken, indem sie semantisch ähnliche Themen vorschlagen, die auf dem aktuell gelesenen Thema basieren. Dies verbessert die Inhaltserkundung und erhöht das Benutzerengagement.

Funktionen

• Semantische Textähnlichkeit: Geht über den Schlüsselwortabgleich hinaus, um wirklich verwandte Inhalte zu finden
• Umschalten zwischen „Vorgeschlagenen“ und „Verwandten“ Themen
• Verfügbar für anonyme und angemeldete Benutzer

Verwandte Themen aktivieren

Verwandte Themen sind standardmäßig für alle Discourse-gehosteten Kunden mit aktiviertem Discourse AI-Plugin eingeschaltet.

Voraussetzungen

Verwandte Themen erfordern Embeddings, um zu funktionieren.

Wenn Sie bei uns gehostet werden, werden Embeddings mithilfe eines Open-Source-Modells bereitgestellt. Es ist keine zusätzliche Einrichtung erforderlich.
Selbst gehostete Instanzen müssen ihre eigenen Embeddings über einen Drittanbieter bereitstellen.

Konfiguration

1. Gehen Sie zu Admin → Einstellungen → Plugins
2. Suchen Sie nach „discourse-ai“ und stellen Sie sicher, dass es aktiviert ist
3. Aktivieren Sie ai_embeddings_enabled, um Embeddings zu aktivieren
4. Aktivieren Sie ai_embeddings_semantic_related_topics_enabled, um die Funktion „Verwandte Themen“ zu aktivieren

Zusätzliche Konfiguration

Abhängig von Ihrer Einrichtung müssen Sie möglicherweise die folgenden Einstellungen anpassen:

• Für nicht-englische Websites (Discourse-gehostet oder selbst gehostet mit eigenem Modell):
  Setzen Sie ai embeddings model auf multilingual-e5-large
• Für Cloudflare Workers AI:
  Setzen Sie ai embeddings model auf bge-large-en
• Für OpenAI oder Azure OpenAI:
  Setzen Sie ai embeddings model auf text-embedding-ada-002

Technisches FAQ

Diagramm der Architektur von Verwandten Themen anzeigen

Der Überblick ist, dass beim Erstellen/Aktualisieren eines Themas Folgendes passiert:

sequenceDiagram
    User->>Discourse: Erstellt Thema
    Discourse-->>Embedding Microservice: Generiert Embeddings
    Embedding Microservice-->>Discourse:
    Discourse-->>PostgreSQL: Speichert Embeddings

Und während des Besuchs eines Themas:

sequenceDiagram
    User->>Discourse: Besucht Thema
    Discourse-->>PostgreSQL: Fragt nach nächsten Themen
    PostgreSQL-->>Discourse:
    Discourse->>User: Präsentiert verwandte Themen

Wie funktionieren Verwandte Themen?

• Wenn ein Benutzer ein Thema besucht, fragt Discourse die Datenbank nach den semantisch ähnlichsten Themen, basierend auf deren eingebetteten Darstellungen. Diese verwandten Themen werden dann dem Benutzer präsentiert, was zu einer weiteren Erkundung der Inhalte der Community anregt.

Wie werden Themen-/Postdaten verarbeitet?

• Bei Discourse-gehosteten Websites werden Daten in unserem sicheren virtuellen privaten Rechenzentrum verarbeitet. Bei selbst gehosteten Websites hängt die Datenverarbeitung von Ihrem gewählten Drittanbieter ab.

Wo werden die Embeddings-Daten gespeichert?

• Embeddings-Daten werden in Ihrer Discourse-Datenbank gespeichert, zusammen mit anderen Forendaten wie Themen, Beiträgen und Benutzern.

Welches semantische Modell wird verwendet und wie wurde es trainiert?

• Auf Discourse gehostete Websites verwenden standardmäßig das all-mpnet-base-v2 Modell. Dieses Modell eignet sich gut für Nischen- und allgemeine Communities. Selbst gehostete Websites können je nach gewähltem Anbieter unterschiedliche Modelle verwenden.

[EricGT]

Etwas, das man im Auge behalten sollte.

Bei der Überprüfung vieler Beiträge in verwandten Themen für eine englische Website (OpenAI) stelle ich fest, dass spanische Themen tendenziell zusammengefasst werden, und vermute, dass, wenn sie zuerst ins Englische übersetzt würden, jeder Beitrag einen anderen Vektor hätte und somit mit anderen Beiträgen gruppiert würde.

---

---

Ein Nebeneffekt dieser Funktion für Moderatoren ist die Überprüfung, ob die Kategorien der in verwandten Themen aufgeführten Beiträge korrekt sind.

Wenn ich jeden neuen Beitrag überprüfe, überprüfe ich auch die verwandten Themen. Dies wird zu einer effektiven Methode, um Themen zu identifizieren, die mit der falschen Kategorie erstellt wurden.

FYI - Eine verwandte Idee wurde in dieser Funktionsanfrage festgestellt.

Have the AI read the first post of a topic

Suggestion Have the AI read the first post of a topic to make sure It is coherent The category and the tags agree. (I know this can be configured but why not let the AI do it) The content of the post agrees with the category and tags. The content of the post agrees with the title of the post. It is relevant to the forum. (I know spam detectors will catch some of this but sometimes it is not spam and just doesn’t belong) Users may not use the correct category and/or tags and then ask a quest…

---

---

Dieses Thema finden, wenn man oft den folgenden Link benötigt, der nicht so leicht zu finden ist, also hier vermerkt.

Discourse AI - Related Topics: Enhancing Content Exploration

At Discourse we are always working to elevate your community experience.  Our Discourse AI modules are designed to make both the management and member experience of your community easier, simpler, faster, and hopefully, more fun. This is a companion discussion topic for the original entry at https://blog.discourse.org/2023/12/ai-related-topics-enhancing-content-exploration

[Falco]

@EricGT

Etwas, das man im Auge behalten sollte.

Bei der Überprüfung vieler Beiträge in verwandten Themen für eine englische Website (OpenAI) stelle ich fest, dass Themen auf Spanisch tendenziell gruppiert werden, und vermute, dass, wenn sie zuerst ins Englische übersetzt würden, jeder Beitrag einen anderen Vektor hätte und somit mit anderen Beiträgen zusammengefasst würde.

Dieses Verhalten wird vom Modell gesteuert und scheint ein bekanntes Problem zu sein:

Does ada support other languages than English?

Ich denke, das von uns empfohlene OSS-Modell für mehrsprachige Websites leistet hier bessere Arbeit, aber wir müssen es noch bei mehr Kunden einführen, um dies zu validieren.

[RBoy]

@Saif

• ai_embeddings_enabled für das Embeddings-Modul aktivieren, das für die Funktion „Verwandte Themen“ benötigt wird

Ich kann diese Option nicht aktivieren:

Fehlt mir hier etwas oder reicht Gemini allein nicht aus?

UPDATE: Die Anweisungen und die Fehlerbeschreibung sollten aktualisiert werden, um hinzuzufügen, dass das ai embeddings model auch aktualisiert werden sollte, um mit dem Anbieter übereinzustimmen, andernfalls kann ai_embeddings_enabled nicht aktiviert werden. In der Parameterbeschreibung fehlt Gemini als Option.

[Bathinda (Bathinda Helper)]

Was soll ich hier eingeben, bitte:\n\n

\n\nIch möchte das obige Feld ausfüllen, weil ich die erste der 4 unten gezeigten Optionen aktivieren möchte:\n

[Jagster (Jakke Lehtonen)]

@Bathinda

Was fülle ich hier bitte aus?

Wenn Sie OpenAI verwenden, nichts.

[Bathinda (Bathinda Helper)]

Dann bereitet mir diese erste Option (Embeddings-Modul) Sorgen, ich kann sie nicht aktivieren:

[Jagster (Jakke Lehtonen)]

Die meisten davon sind leer. Aber ai embeddings discourse service api key ist Ihr OpenAI API und ai embeddings discourse service api endpoint ist https://api.openai.com/v1/embeddings. Das Modell sollte text-embedding-3-large sein (sicher, es kann auch small sein, aber das hat einige Probleme).

[Overgrow]

@Jagster

Das Modell sollte text-embedding-3-large sein (sicher, es kann auch small sein, aber es hat einige Probleme).

Welche Ergebnisse hattest du beim Vergleich von small und large? Ich weiß, dass es einen Unterschied in den Dimensionen gibt, der die Präzision des Modells beeinflusst. Die small-Version ist 5x günstiger. Ist sie in der realen Welt für die Themenähnlichkeit wirklich unbrauchbar? Unser Forum ist zu 99 % auf Englisch.

@Falco

Ich denke, das OSS-Modell, das wir für mehrsprachige Websites empfehlen, macht das besser

Ich wäre sehr daran interessiert, mehr zu erfahren. Können Sie bitte näher erläutern, wo all-mpnet-base-v2 im Vergleich zu OpenAI-Modellen für eine rein englische Website steht?

[Jagster (Jakke Lehtonen)]

Embeddings sind so günstig, dass der Preis keine Rolle spielt – es sei denn, es gibt unzählige Beiträge, bei denen 0,01 Cent Gesamtkosten ausmachen.

Aber ehrlich gesagt… ich habe keine Unterschiede gesehen. Und für mich, da die Chance besteht, dass ich RAG und Embeds nicht richtig nutzen kann, sind beide gleichermaßen nutzlos. Ich weiß, das widerspricht der öffentlichen Meinung, aber auf meiner Website findet und nutzt dieses System einfach nichts Nützliches.

Wahrscheinlich liegt es an den OpenAI-Modellen, aber ich habe nicht genug Geld, um diese professionelleren Lösungen zu nutzen.

[haydenjames]

@Discourse

Für OpenAI oder Azure OpenAI:
Setzen Sie ai embeddings model auf text-embedding-ada-002

Ich habe bisher das Modell text-embedding-3-small verwendet, bevor ich das hier gelesen habe. Ist text-embedding-ada-002 viel besser?

[sam (Sam Saffron)]

Ada ist die vorherige Generation