Vergleich zwischen discourse-ai AI Bot und merefield/discourse-chatbot

Allgemein
,
1

Was sind die Unterschiede zwischen dem offiziellen Plugin Discourse AI und dem Plugin Discourse Chatbot 🤖 in Bezug auf KI-Bots und ihre Funktionen?

2 „Gefällt mir“
2

@merefield Plugin ist schon länger verfügbar und hat viel mehr Einstellungsmöglichkeiten zur Konfiguration. AI Bot ist auch etwas ehrgeiziger (insbesondere da wir GPT 4 Zugang haben), da wir versuchen, ihn in das Discourse-Erlebnis zu integrieren – er weiß zum Beispiel, wie man Themen durchsucht und zusammenfasst.

Bemerkenswerte Unterschiede von heute sind wahrscheinlich:

  • Wir streamen Antworten und bieten eine Stopp-Schaltfläche
  • @merefield bietet viel mehr Einstellungen, um Dinge abzustimmen
  • Wir bieten ein “Befehls”-Framework, damit der Bot in Ihrem Namen handeln kann – obwohl die Erfahrung mit GPT 3.5 ziemlich unzuverlässig ist
  • @merefield bietet derzeit eine Discourse-Chat-Integration, wir noch nicht
  • Wir bieten auch Anthropic-Integration an
8 „Gefällt mir“
3

HinzuzufĂĽgen: Nach meinen Tests scheint der KI-Bot nur in PM zu funktionieren und der Chatbot funktioniert ĂĽberall, es sei denn, ich mache etwas falsch mit dem KI-Bot.

Bilderzeugung und Streaming sind gut gemacht, ebenso wie die Such-API. Allerdings fällt sie manchmal immer noch auf „Ich kann nicht im Web suchen oder keine Bilder generieren“ zurück. Verwenden Sie etwas Ähnliches wie LangChain-Agenten, die entscheiden, welche Schritte unternommen werden sollen?

Sollen wir eine CX mit Geltungsbereich fĂĽr das gesamte Web erstellen oder nur fĂĽr unsere Instanz-URL?

2 „Gefällt mir“
4

Das ist richtig. Wir werden wahrscheinlich eine breitere Integration erreichen, nehmen uns aber Zeit und versuchen, die bestehenden Dinge zuerst zu polieren.

Ja, das ist das sehr frustrierende an GPT 3.5 im Vergleich zu 4. Das Modell fĂĽr 3.5 zu erden, ist einfach super schwierig.

Ich erwäge, einen Zwischenschritt einzuführen, bevor ich in GPT 3.5 antworte, der zuerst eine Triage durchführt, bevor er tatsächlich antwortet (z. B. sieht diese Interaktion INTERAKTION so aus, als ob sie zu einem !Befehl führen sollte, wenn ja, welcher?). Das würde leider Kosten und Verzögerungen verursachen, daher ist dies mein letzter Ausweg.

Wir verwenden eine Art Langchain, die auf 5 Schritte beschränkt ist, aber wir versuchen, sehr sparsam mit Tokens umzugehen, daher ist die Balance schwierig.

Das liegt an Ihnen… Ich mag den Zugriff auf das gesamte Google, es ist sehr praktisch.

4 „Gefällt mir“
5

Was ich tue, um 3.5 zu erden, ist, einen zweiten, kürzeren System-Prompt weiter unten im endgültigen Prompt hinzuzufügen, um das Modell an einige der Regeln im Haupt-System-Prompt zu “erinnern”.

Es würde also ungefähr so aussehen (vom Handy tippen, versuche es…):

Systemrolle
Benutzer
Assistent
..
..
Systemrolle „Erinnerung“
Neuer Benutzer-Prompt

Allein durch die Wiederholung der wichtigsten Inhalte der Systemrolle gibt das Modell ihnen mehr Gewicht. Ich verwende diesen Workaround seit einigen Monaten ohne zu viele seltsame Antworten.

Besonders wenn Prompts länger werden, neigt das Modell dazu, Dinge zu “vergessen”, die weiter oben im endgültigen Prompt stehen. Dinge in der KI sind sehr hacky, das erlebe ich sowohl bei GPT-Modellen als auch bei Langchain. Erst heute habe ich in Langchain eine so starke Persönlichkeit bekommen, dass die Aktionen beim Fragen nach der Uhrzeit in einer zufälligen Stadt darin bestanden, “auf meine Uhr zu schauen”, “die Zeitzone meiner Uhr zu ändern” und “einen Fremden zu fragen”.

4 „Gefällt mir“