GPT3-ähnliche Bots integrieren?

Entwickler
43

@Festinger Ich habe geantwortet, vielleicht hast du meine E-Mail verpasst? Überprüfe den 17. Januar für die E-Mail:

image
image1300×1180 83.1 KB

@SimonBiggs Nach etwas mehr Überlegung zu dem Problem habe ich festgestellt, dass es vielleicht ein besserer Ansatz wäre, einfach einen geschlossenen, externen Dienst einzurichten, der Einladungen zur Teilnahme an einem Discourse-Forum erhalten, sein Profil einrichten und dann als Benutzer über die API teilnehmen kann. Das Profil wäre realistisch, aber in der Beschreibung würde klar gemacht, dass es sich um einen Bot handelt.

Ich habe herausgefunden, was der Bot tun würde, aber er muss kein tatsächliches Plugin für Discourse sein. Er muss nur gelegentlich als Cronjob laufen und dann Kommentare und Antworten über die Discourse-API posten. Was denkst du?

44

Ich habe einige Ideen für Anwendungsfälle für solche Funktionen. Mir ist bewusst, dass dies vom Thema des ursprünglichen Beitrags abweicht, aber es scheint auch das Thema zu sein, das alle besuchen, die daran interessiert sind, einen GPT3-ähnlichen Bot zu integrieren. Wenn Sie möchten, können Sie ein weiteres Thema (öffentlich oder privat) starten, dann gäbe es einen einzigen Ort, an dem die Ideen der Community gesammelt werden. :slightly_smiling_face:

1 „Gefällt mir“
45

Das wäre wunderbar, da unsere erste Aufgabe des dedizierten KI-Teams darin besteht, Ideen für mögliche Funktionen zu sammeln und zu katalogisieren.

3 „Gefällt mir“
46

Ich habe herausgefunden, was der Bot tun würde, aber er muss kein tatsächliches Plugin für Discourse sein. Er muss nur ab und zu als Cronjob laufen und dann Kommentare und Antworten über die Discourse API posten. Was denkst du?

Das ergibt durchaus Sinn. Ich persönlich würde jedoch nur Open-Source-KI-Tools herstellen wollen. Und da Discourse selbst plant, ein Tool zu entwickeln, würde ich idealerweise lieber ihnen helfen.

1 „Gefällt mir“
47

Vorschlag für einen Antwort-Bot mit geplanter Kategorisierung und Feinabstimmung für Diskursforen

Einleitung: Diskursforen leben von Nutzerengagement und Beiträgen. Ein entscheidender Aspekt dabei ist die Möglichkeit, zeitnahe und genaue Antworten auf Fragen zu erhalten. Manchmal kann es jedoch eine Weile dauern, bis eine Antwort erscheint, was die Nutzer davon abhält, sich weiter an der Konversation zu beteiligen. Um dem entgegenzuwirken, schlagen wir einen Bot vor, der Fragen nach einer bestimmten Zeitspanne automatisch beantworten kann, um das Engagement der Community zu fördern. Zusätzlich wird der Bot geplante Aufrufe zur Kategorisierung bestehender Threads zuweisen und seinen eigenen Datensatz für die Feinabstimmung aufbauen, der von Zeit zu Zeit aktualisiert werden kann.

Ziele: Die Hauptziele des Antwort-Bots mit geplanter Kategorisierung und Feinabstimmung für Diskursforen sind:

  1. Förderung des Community-Engagements durch zeitnahe und genaue Beantwortung von Fragen, die sonst unbeantwortet bleiben könnten.
  2. Automatisierung der Kategorisierung bestehender Threads, um sicherzustellen, dass Fragen korrekt gekennzeichnet werden und Nutzer leicht relevante Informationen finden können.
  3. Aufbau eines Datensatzes für die Feinabstimmung des Bots, um seine Leistung und Genauigkeit im Laufe der Zeit zu verbessern.

Vorgeschlagene Lösung: Um die oben genannten Ziele zu erreichen, schlagen wir die Integration eines Bots vor, der Fragen nach einer bestimmten Zeitspanne automatisch beantworten, geplante Aufrufe zur Kategorisierung bestehender Threads zuweisen und seinen Datensatz für die Feinabstimmung aufbauen kann. Der Bot wird so konzipiert sein, dass er Benutzereingaben analysiert, den Kontext der Konversation versteht und entsprechende Antworten auf der Grundlage vordefinierter Regeln und maschineller Lernmodelle generiert.

Der Bot wird Techniken der natürlichen Sprachverarbeitung (NLP) verwenden, um Benutzereingaben zu analysieren und Antworten zu generieren, die für die Konversation relevant sind. Er wird darauf trainiert, den Kontext der Frage, das diskutierte Thema und frühere Interaktionen des Nutzers zu verstehen, um genaue und hilfreiche Antworten zu liefern. Der Bot wird nur auf Fragen antworten, die innerhalb eines bestimmten Zeitrahmens nicht beantwortet wurden, oder wenn er direkt über einen Benutzernamen aufgerufen wird.

Zusätzlich zur Beantwortung von Fragen wird der Bot geplante Aufrufe zur Kategorisierung bestehender Threads zuweisen. Er wird den Inhalt und die Tags des Threads analysieren, um sicherzustellen, dass Fragen korrekt gekennzeichnet und zur einfachen Navigation organisiert sind. Der Bot wird auch seinen Datensatz für die Feinabstimmung aufbauen, indem er Benutzeranfragen und Antworten aufzeichnet und kategorisiert. Dieser Datensatz wird verwendet, um die Leistung des Bots im Laufe der Zeit zu trainieren und zu verbessern.

Vorteile: Die Vorteile der Integration eines Antwort-Bots mit geplanter Kategorisierung und Feinabstimmung für Diskursforen sind zahlreich, darunter:

  1. Förderung des Community-Engagements: Der Bot liefert zeitnahe und genaue Antworten auf Fragen und ermutigt die Nutzer, sich weiterhin an der Konversation zu beteiligen.
  2. Verbesserte Kategorisierung von Threads: Der Bot automatisiert die Kategorisierung von Threads und stellt sicher, dass Fragen korrekt gekennzeichnet und zur einfachen Navigation organisiert sind.
  3. Verbesserte Genauigkeit und Leistung: Der Datensatz für die Feinabstimmung des Bots wird verwendet, um seine Leistung im Laufe der Zeit zu trainieren und zu verbessern.
  4. Reduzierung der Arbeitsbelastung für menschliche Moderatoren: Der Bot reduziert die Arbeitsbelastung menschlicher Moderatoren, indem er die Kategorisierung von Threads automatisiert und Fragen beantwortet, die sonst unbeantwortet blieben.

Schlussfolgerung: Die Integration eines Antwort-Bots mit geplanter Kategorisierung und Feinabstimmung für Diskursforen ist eine wertvolle Investition, die dazu beitragen kann, das Engagement der Community zu fördern, Kategorisierungsaufgaben zu automatisieren und die Genauigkeit und Leistung des Bots im Laufe der Zeit zu verbessern. Wir empfehlen, die verfügbaren NLP- und maschinellen Lernmodelle zu untersuchen, um dasjenige auszuwählen, das den Bedürfnissen des Diskursforums am besten entspricht. Der Integrationsprozess sollte sorgfältig geplant und durchgeführt werden, mit ordnungsgemäßen Tests und Schulungen, um sicherzustellen, dass der Bot wie vorgesehen funktioniert.

4 „Gefällt mir“
48

Dies ist ein großartiger Anfang, aber leider erreiche ich als OP immer noch nicht das, was ich anfangs gesagt habe. Nachdem ich mich jedoch viele Jahre mit diesem Bereich beschäftigt habe, werde ich nicht genau das bekommen, was ich will, indem ich versuche, dafür selbst zu bezahlen, es sei denn, ich gewinne im Lotto. Um zu wiederholen: Ich brauche einen Bot, der nicht nur das tun kann, was Sie oben skizzieren, sondern auch ein permanentes Gedächtnis für frühere Diskussionen mit Einzelpersonen hat – genau wie ein Mensch. Da ich nicht bald genau das bekommen werde, was ich will, aber Discourse selbst + der sich entwickelnde Vorschlag für einen Discourse AI Bot viel von dem tun würden, was ich will, sollte ich vielleicht all meine Bemühungen darauf konzentrieren, so viel wie möglich zu diesem Projekt beizutragen, während ich weiterhin persistente Erinnerungen mithilfe der Graphentheorie und anderer Dinge untersuche – die später hinzugefügt werden könnten?

49

Wenn die Discourse-Implementierung/Vorschläge nicht Ihren Bedürfnissen entsprechen und Sie bereit sind, die Entwicklung von Open-Source-KI-Software (Apache-2.0, die Discourse selbst dann frei wiederverwenden könnte) zu finanzieren, würde ich Ihnen gerne einen KI-Bot für Discourse einrichten, der über ein Gedächtnis verfügt.

50

Alles hier wird vom Modell abhängen. Ich sehe hier einiges allgemeines Interesse, aber niemand hat vorgeschlagen, welches Modell verwendet werden soll, und niemand hat bewiesen, dass das Modell etwas Nützliches tun kann.

Selbst mit OPT gute Ergebnisse zu erzielen ist schwierig, und Facebook hat eine ganze Reihe von Parametern hinzugefügt. Meine allgemeine Sorge hier (auch für die gesamte Branche) ist, dass es im offenen Bereich nichts gibt, das auch nur annähernd an GPT 3 Devinci heranreicht, und GPT 4 steht vor der Tür und wird es noch schwieriger machen, zu konkurrieren.

4 „Gefällt mir“
51

Im folgenden Beitrag oben sind sowohl ein Modell als auch dessen Nützlichkeit detailliert beschrieben:

Der Prozess ist Supabase + OpenAI GPT API. Derzeit reichen GPT 3.5 + OpenAI Embeddings aus, um viele der heute von einem Discourse-Bot gewünschten Aufgaben zu erfüllen.

Die GPT API ist nicht Open Source. Aber es ist eine API. Und wenn ein Open-Source-Modell aufholt (wie z. B. https://github.com/LAION-AI/Open-Assistant), kann es an seine Stelle gesetzt werden.

Das stimme ich auf jeden Fall zu. Deshalb wird vorerst im Hintergrund GPT 3.5 verwendet, bis eine bessere Alternative verfügbar ist.

52

Meine große Sorge hier ist die Zuschreibung, besonders wenn ein Korpus riesig ist wie ein Discourse-Forum und so viele der Daten, die zum Trainieren des Bots verwendet werden, veraltet sein können.

Es gibt einige große grundlegende Probleme mit diesem ClippyGPT-Ansatz. Sie können die Suche nicht durch etwas ersetzen, das keine Links zurück zum Inhalt liefert. Das Training wäre auch eine monströse Aufgabe.

2 „Gefällt mir“
53

Wahrscheinlich ist es besser, Ihnen eine PM zu senden, um diese Idee ausführlicher zu besprechen. .

54

Hallo Phil,

Ich bin auch in der Zeitzone von Sydney (Wagga Wagga). Meine E-Mail-Adresse lautet me@simonbiggs.net. Lass uns eine Zeit für einen Videoanruf vereinbaren?

Viele Grüße,
Simon

55

Wow! - Ich bin 2015 von Sydney nach Cowra gezogen! - Ich bin vor ein paar Tagen in der Nähe von Holbrook vorbeigefahren!

Bist du heute noch unterwegs?

56

Apropos Sydney… :wink:

Ich bin überrascht, dass niemand das „neue“ Bing erwähnt hat. Ich denke, es ist ein großartiges Beispiel dafür, was in Discourse implementiert werden könnte.

57

Bereit, dies mit finanzieller Unterstützung zu unterstützen :slight_smile:

1 „Gefällt mir“
58

Mein Plugin kann GPT3 (standardmäßig: „text-davinci-003“, aber Sie können das Modell wählen) verwenden, um Themen zusammenzufassen:

Ich habe es ausprobiert (sogar in der Produktion) und bin bisher ziemlich beeindruckt von den Ergebnissen. Ich würde sogar so weit gehen zu sagen, dass es manchmal „sublim“ ist.

Es liefert zwar oft relevante, syntaktisch korrekte und überzeugende Zusammenfassungen, ist aber anfällig für sachliche Ungenauigkeiten, die sehr irreführend sein und seinen Nutzen beeinträchtigen können. Hier steckt aber so viel Potenzial drin!

Beachten Sie, dass das Plugin noch sehr experimentell ist, aber jetzt stabil zu sein scheint. Die Ergebnisse variieren, aber es gibt verschiedene Einstellungen zur Verbesserung der Benutzerfreundlichkeit, um Ihre Ergebnisse zu verbessern, einschließlich einer Abstimmungsmechanik mit einer Einstellung für einen Schwellenwert, der das System dazu veranlasst, eine neue Zusammenfassung vom LLM abzurufen.

3 „Gefällt mir“
59

Das läuft auch ziemlich gut:

image
image826×1270 74.7 KB

7 „Gefällt mir“
60

Ich denke, ChatGPT wäre großartig für FAQs und Dokumentationen. Schauen Sie sich diese Studie von Richard Millington an: ChatGPT vs. Superusers – What Our Data Showed | FeverBee

5 „Gefällt mir“
61

ChatGPT hat keine Unterstützung für Fine-Tuning (noch hat es eine API dafür, zumindest bis heute).

Ich denke, es wäre interessant, ein GPT-basiertes Modell (entweder Fine-Tuning von GPT-3 oder etwas anderes) auf einem Korpus einer Discourse-Site zu trainieren, um zu sehen, wie gut Captain Word Salad abschneidet, sobald es mit den Daten trainiert und zum Antworten angeleitet wurde. Mit der klaren Einschränkung, dass “Müll rein, Müll raus” gilt.

Experimente werden sicherlich stattfinden, und die übermäßig selbstbewussten, lügenden GPT-Modelle werden mit der Zeit besser werden (sowohl aufgrund besserer Daten als auch durch mildernde Algorithmen, die irgendwie Fakten prüfen).

Richards Beitrag ist sicherlich interessant, aber ChatGPT ist noch nicht bereit für die Aufgabe:

image
image852×489 64.9 KB

Im Vergleich zu Bing, das auf ziemlich aktuellen Suchergebnissen feinabstimmt.

image
image1514×828 222 KB

5 „Gefällt mir“
62

Etwas Ähnliches scheint auf Goodspeed I Bubble Buddy I Bubble FAQs veröffentlicht worden zu sein.

Ich bin mir nicht sicher, ob auch die Inhalte von https://forum.bubble.io/ als Saatgut verwendet werden.

1 „Gefällt mir“