RAG-Kapazitäten von discourse-ai

Unterstützung
1

Ich habe gerade Discourse-AI eingerichtet und frage mich, welche RAG-Kapazitäten die KI hat?
Ich sehe, dass sie Inhalte aus Beiträgen abrufen kann, aber ich muss sie mehrmals fragen, bevor sie wirklich versteht, dass die Informationen in einem Thema gefunden werden sollten.
Andere Funktionen funktionieren gut!

2

Eine Persona hat einen Upload-Bereich, Sie können mehrere Textdateien in Ihre Persona hochladen.

Siehe: AI bot - Personas

Sie müssen jedoch die Einbettung konfigurieren, damit dies funktioniert.

1 „Gefällt mir“
3

Danke, ich habe diesen Abschnitt gesehen, das ist großartig, aber ich habe noch ein paar Fragen.

Einige Kontexte: Wir verwenden Discourse als Wissensdatenbank und Forum, um technische Fragen zu beantworten. Wir haben unsere gesamte Dokumentation darauf.

Wir werden den Upload-Bereich der Persona nutzen, um Daten zu speisen, die wir nicht direkt im Forum veröffentlichen, z. B. Daten aus Dokumenten über unser Unternehmen.

Nun möchten wir für unsere technischen Dokumente, die im Forum leben, in der Lage sein, Fragen mithilfe einer KI zu stellen. Nach meinem Verständnis ist der Discourse-KI-Chat nicht dafür gedacht, und wie in den Persona-Tools konfiguriert, wird er nur eine Suche im Forum durchführen, plus einige KI-Verarbeitung?

Ist etwas geplant, um einen Chatbot zu haben, der RAG-Funktionen im Forum selbst ermöglicht, auch auf den Inhalt der Themen?

1 „Gefällt mir“
4

Dies wird heute zu 100 % unterstützt, mit einer Vielzahl von Implementierungsoptionen.

  1. Das Suchwerkzeug kann auf eine Gruppe von Kategorien oder Tags beschränkt werden (wenn Sie eine neue Persona erstellen und das Suchwerkzeug hinzufügen).
  2. Benutzerdefinierte Werkzeuge bieten hier zusätzliche Flexibilität. Sie können HTTP-Anfragen an dasselbe Forum stellen und alles vom Forum in einem beliebigen Format konsumieren, das Sie wünschen, einschließlich HTTP-Anfragen zur Einbettung von Suchen. Siehe: API access to the embedding(s) for a post - #3 by sam. Bei HTTP-Anfragen in einem benutzerdefinierten Werkzeug können Sie HTTP-Header angeben, sodass Sie einen API-Schlüssel verwenden können, den Sie im Forum ausstellen.
  3. Das Lesewerkzeug ermöglicht es Ihnen, Themen zu lesen.
  4. Dieser sich in Arbeit befindliche PR ermöglicht es Ihnen, Ihre Uploads direkt von einem Werkzeug aus zu durchsuchen. (FEATURE: RAG search within tools by SamSaffron · Pull Request #802 · discourse/discourse-ai · GitHub), was eine weitere Option darstellt.
  5. Sie können die Modalität (PM vs. Chat) je nach Ihren Vorlieben steuern.

Ein Beispiel für die Implementierung finden Sie unter ask.discourse.com (das als Support-Bot für unsere Kunden konzipiert wurde) – das Wichtigste ist, dass es kein benutzerdefiniertes Plugin erfordert, sondern alles mit dem integrierten Discourse AI-Plugin erfolgt.

6 „Gefällt mir“
5

Haftungsausschluss: Ich bin ein De-facto-Endbenutzer und verstehe nicht einmal, wie KIs wirklich funktionieren. Und ich benutze OpenAI.

Es gibt einige Gründe, warum KI nicht die gewünschte Antwort liefert.

  • Die Eingabeaufforderung diktiert, wo und wie gesucht werden kann. Ein falsches Wort und es tut, was es will.
  • KI ist nicht wie Google mit Steroiden und der Fähigkeit, Dinge zu erklären, auch wenn sie es irgendwie ist. Sie kann die richtigen Treffer finden, und zwar genauso schlecht wie Google. Und sie liest und analysiert nicht wirklich alles, sondern sie denkt nur so.
  • RAG und Embeddings funktionieren, erfordern aber extrem enge Eingabeaufforderungen. Aber diese geben nur eine Richtung vor, oft keine stabile Grundlage, um eine Antwort aufzubauen. Allein Embeddings erfordern viel manuelle Arbeit und oft reichen Themen an sich nicht aus. Ein Thema oder ein Beitrag (noch schlimmer) kann korrekt und logisch genug sein, aber in der realen Welt? Nein. Deshalb scheitert ask.discourse.com ziemlich oft, wenn keine sehr begrenzte und gezielte Frage gestellt wird. Wie erlaube ich nur bestimmte E-Mail-Domains bei Registrierungen? Boom, Sie haben die Antwort. Wie erhalte ich Benachrichtigungen, wenn eine Gruppen-PM-Box neue Nachrichten hat? Viel Halluzination und falsche Verweise.

Die beunruhigendste Idee von OpenAI ist, dass falsche Antworten akzeptabel sind. Es ist eine Frage der Menge und insbesondere, wie viel diese halluzinierten und sachlich falschen Antworten ein Unternehmen kosten werden.

Sehr wahr für Unternehmen, aber wirklich schlecht für den einzelnen Benutzer.

KIs können sehr genau sein. Alles, was benötigt wird, ist viel Personal für die Programmierung und Wartung sowie so viel Rechenleistung, dass das Mining von Bitcoins ein billiges Hobby ist.

Mein sehr schwacher Punkt ist, dass das bloße Einwerfen von Handbüchern in Themen nicht ausreicht.

6

Das ist eine sehr wichtige Erkenntnis: Mit diesen Arten von Systemen ist man nie wirklich fertig.

Wir wiederholen den Prozess von

  1. Benutzer fragt KI und erhält eine schlechte Antwort
  2. Wir überprüfen
  3. Dokumentation korrigieren, eine korrekte Antwort akzeptieren und Such-Landminen löschen
  4. Dieselbe Frage stellen und eine korrekte Antwort erhalten

Dies sind keine Systeme, die man einsetzen und vergessen kann; sie erfordern ständige Feinabstimmung.

Beachten Sie, dass es uns sehr hilft, wenn Sie schlechte Antworten mit Daumen nach unten bewerten.

3 „Gefällt mir“
7

Das ist sehr wahr. Und es besteht eine wirklich große Möglichkeit, dass meine Eingabeaufforderungen wirklich schlecht sind.

Aber… Endbenutzer verwenden diese Bots und sie sind nicht gut darin, qualitativ hochwertige Fragen zu schreiben, die die KI in die richtige Richtung lenken, um das zu bekommen, was sie braucht. Und dann hilft mir das Wissen, das ich heute gewonnen habe, obwohl es falsch ist, zu einem besseren Ergebnis zu gelangen, nicht allzu sehr.

Ich weiß nicht, worauf ich hinauswill, außer dass das Erstellen/Trainieren/Anpassen einer KI, die eine Trefferquote von über 80 % hat, mehr Arbeit und kuratierte Inhalte erfordert als nur die Veröffentlichung von Themen. Und diese Arbeit kostet Geld (also hoffe ich, dass Ihr Geschäft wächst, denn ich liebe Korrekturlesen, auch wenn diese Funktionalität jetzt massiv vom Thema abweicht).

1 „Gefällt mir“
8

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.