Nachdem ich mir einige Themen angesehen habe, habe ich Folgendes gelernt und empfohlen.
Die Website dient der Unterstützung des Surety-Haussicherheitssystems.
Das Ziel der mit dem Discourse-Forum verwendeten KI ist (Ref):
- Unser menschliches Support-Team für ein technisches Support-Forum zu ergänzen.
- Sie müsste aus unseren historischen Forumdaten lernen.
- Das notwendige Domänenwissen besitzen, um Support zu leisten.
- Sie sollte nur versuchen, themenrelevante Fragen zu beantworten.
- Sie sollte dem Nutzer eine Möglichkeit bieten, dem Bot zu sagen, dass er aufhören soll zu antworten, damit dieser auf einen Menschen warten kann, falls er das Gefühl hat, der Bot hilft nicht weiter.
Und hier sind einige der Fragen von Ryan:
- Lernen diese automatisch oder werden sie mit historischen Forumdaten feinabgestimmt?
- Nicht die Arbeit duplizieren, die bereits von klügeren Leuten erledigt wurde.
- Die Themen, an denen der Bot teilnimmt, einschränken, damit er nicht an allgemeinen, themenfremden Gesprächen teilnimmt?
- Ist der ursprüngliche Discourse Chatbot langfristig weiterentwickelt und gewartet?
- Oder ist geplant, ihn eventually durch den KI-Bot im offiziellen Plugin zu ersetzen oder darin zu integrieren?
Hier ist eine gestellte Frage, die ich dem Discourse-KI-Bot gegeben habe, der derzeit auf der Version der Website aktiviert ist, die ich getestet habe, sowie eine Antwort von ChatGPT.
Die Frage:
Ich habe ein IQP4 mit einem PowerG-zu-Hardwire-Modul. Die verkabelten Sensoren funktionieren. Ich wollte einen Test am Gong/Sirene durchführen, konnte aber die Option auf dem IQP4 nicht finden. Ich kann die Sirene am Panel testen, und sie ertönt zusammen mit der IQ Remote, aber die fest verdrahtete Glocke nicht. Ich muss den Alarm auslösen, damit die fest verdrahtete Sirene ertönt.
Gibt es eine Möglichkeit, die Glocke am PowerG-zu-Hardwire-Modul vom IQP4 aus zu testen?
Hier ist die Antwort mit dem Discourse-KI-Bot und GPT-4
Ich habe ein relevantes Thema in unserem Forum gefunden, das Ihnen bei Ihrem Problem helfen könnte.
Im Thema Test wired bell on PowerG to hardwire? hatte der Benutzer ein ähnliches Problem, bei dem er die Option nicht finden konnte, die Glocke am PowerG-zu-Hardwire-Modul vom IQP4 aus zu testen.
Bitte werfen Sie einen Blick auf dieses Thema für mögliche Lösungen. Wenn Sie noch Fragen haben oder weitere Unterstützung benötigen, können Sie gerne nachfragen.
Hier ist die Antwort mit dem Discourse-KI-Bot und GPT-3.5
Ich habe ein Thema im Surety-Support-Forum gefunden, das das Testen der fest verdrahteten Glocke an der PowerG-zu-Hardwire-Verbindung mit dem IQ Panel 4 (IQP4) behandelt. Sie finden das Thema hier.
Im Thema erwähnt der Benutzer, dass er keine Option finden konnte, die Glocke/Sirene am IQP4 selbst zu testen. Allerdings konnte er die Sirene am Panel testen, und sie ertönte zusammen mit der IQ Remote. Die fest verdrahtete Glocke ertönte hingegen nicht, es sei denn, der Alarm wurde ausgelöst.
Sie können das Thema besuchen, um weitere Informationen zu erhalten und zu sehen, ob andere Benutzer Lösungen oder Vorschläge gemacht haben.
Sowohl der Discourse-KI-GPT-4- als auch der GPT-3.5-Bot haben dasselbe Thema gefunden.
Hier ist die Antwort mit ChatGPT
Ich habe keine spezifischen Informationen zur neuesten Softwareversion oder zu den Funktionen des IQ Panel 4, da mein Training nur Wissen bis Januar 2022 umfasst. Basierend auf allgemeinen Prinzipien der Alarmsystemprüfung sind hier jedoch einige Vorschläge, die Ihnen beim Testen Ihrer fest verdrahteten Sirene, die an das PowerG angeschlossen ist, helfen könnten:
-
Systemtestmodus:
- Prüfen Sie, ob Ihr Alarmpanel einen „Systemtest“- oder „Walk-Test“-Modus hat. Dieser Modus ist in der Regel für die Prüfung von Sensoren und Alarmen konzipiert, ohne ein echtes Alarmereignis auszulösen. Wenn Ihr Panel über diese Funktion verfügt, sollten Sie die Sirene testen können, ohne einen vollständigen Alarm auszulösen.
-
Ausgangssteuerung:
- Suchen Sie in den Einstellungen Ihres Alarmpanels nach einer Option „Ausgangssteuerung“ oder „Zusatzausgang“. Diese Funktion ermöglicht es Ihnen möglicherweise, Ausgänge wie die Sirene manuell für Testzwecke auszulösen.
-
Zonenüberbrückung:
- Bei einigen Systemen können Sie bestimmte Zonen während des Tests überbrücken. Wenn Ihre fest verdrahtete Sirene einer bestimmten Zone zugeordnet ist, könnten Sie diese Zone für den Test überbrücken.
-
Benutzerhandbuch:
- Konsultieren Sie das Benutzerhandbuch oder die Dokumentation, die mit Ihrem IQ Panel 4 geliefert wurde. Es sollte spezifische Anweisungen enthalten, wie Sie verschiedene Komponenten Ihres Alarmsystems testen und steuern können.
-
Technischer Support:
- Wenn Sie keine Lösung selbst finden können, wenden Sie sich an den technischen Support des Herstellers. Sie können Sie basierend auf den spezifischen Funktionen und Möglichkeiten Ihres Systems beraten.
-
Panel-Software-Update:
- Prüfen Sie, ob für Ihr IQ Panel 4 Softwareupdates verfügbar sind. Hersteller veröffentlichen häufig Updates, um neue Funktionen hinzuzufügen oder Probleme zu beheben, und ein Update könnte einen spezifischen Testmodus für die Sirene enthalten.
Denken Sie daran, beim Testen vorsichtig vorzugehen, um ein versehentliches Auslösen eines echten Alarmereignisses zu vermeiden. Wenn Sie bei bestimmten Schritten unsicher sind, ist es immer ratsam, das Benutzerhandbuch zu konsultieren oder den technischen Support um Unterstützung zu bitten.
Offensichtlich gibt ChatGPT eine detailliertere Antwort. Ich werde später in diesem Thema auf mögliche Gründe eingehen.
Hinweis: Ich habe keinen Zugriff auf das Discourse-KI-Plugin von Merefield (Card) (GitHub). Es wäre schön, die Antwort auf dieselbe Frage hier zum Vergleich zu sehen. 
Hier ist mein Feedback.
Die KI dieser Bots basiert auf LLMs; das Wissen ist durch den Trainingsdatensatz begrenzt. Die Bots verwenden zudem RAG (Retrieval-Augmented Generation), um ihr Wissen durch den Zugriff auf die Themen im Forum zu erweitern.
Die Bots verwenden in der Regel einen System-Prompt, also eine Art Persona, der kein Benutzer-Prompt mit der Anfrage an die LLM-API ist.
Ich lasse ChatGPT den Unterschied erklären.
ChatGPT
Was ist ein System-Prompt? Wie unterscheidet er sich von einem Benutzer-Prompt?
Antwort
Ein System-Prompt und ein Benutzer-Prompt sind Begriffe, die häufig im Zusammenhang mit Sprachmodellen und konversationellen KI-Systemen wie GPT-3.5 verwendet werden. Lassen Sie mich den Unterschied zwischen ihnen klären:
-
Benutzer-Prompt:
- Ein Benutzer-Prompt ist die Eingabe, die von einem menschlichen Benutzer bereitgestellt wird, um ein Gespräch zu initiieren oder Informationen vom KI-System anzufordern.
- Es ist der Text oder die Abfrage, die eine Person tippt oder spricht, um mit dem KI-Modell zu interagieren.
- Wenn Sie beispielsweise einen Chatbot oder ein Sprachmodell verwenden, wäre Ihre Eingabe, bei der Sie eine Frage stellen oder eine Aussage treffen, der Benutzer-Prompt.
-
System-Prompt:
- Ein System-Prompt ist hingegen die initiale Eingabe oder Anweisung, die dem KI-Modell gegeben wird, um den Kontext zu setzen oder sein Verhalten für ein Gespräch zu steuern.
- Er dient dazu, der KI einen Ausgangspunkt oder Kontext für die Generierung von Antworten zu geben.
- Der System-Prompt hilft, den Ton, den Stil oder den Inhalt der Antworten der KI zu formen, und dient gewissermaßen als Anweisung, um das Verhalten des Modells zu steuern.
- Während Benutzer-Prompts spezifisch für die Anfragen oder Aussagen des Benutzers sind, beziehen sich System-Prompts eher auf die Bereitstellung eines allgemeinen Kontexts oder einer Anweisung für das gesamte Gespräch.
Im Fall von GPT-3.5 oder ähnlichen Sprachmodellen beginnt ein Gespräch typischerweise mit einem System-Prompt, gefolgt von Benutzer-Prompts in einem laufenden Austausch. Der System-Prompt beeinflusst die Antworten des Modells während des gesamten Gesprächs, aber es ist die Kombination aus System- und Benutzer-Prompts, die die Ausgabe des Modells bestimmt.
Der Grund, warum die Bots keine viel spezifischere Antwort geben können, liegt darin, dass ihre Wissensbasis die Benutzerhandbücher, Installationsanweisungen usw. für diese Produkte nicht enthält. Darüber hinaus sind Bots oft nicht in der Lage, Bilder und Diagramme aus solchen Dokumentationen, wie z. B. Verdrahtungspläne und Bilder in den Installationshandbüchern, zu extrahieren.
Als erster Schritt sollte RAG verwendet werden, um das Wissen der KI so weit wie möglich zu erweitern, selbst wenn es sich nur um den Text aus der Dokumentation handelt. Obwohl der Discourse-KI-Bot RAG für alle Themen im Forum verwenden kann, weiß ich nicht, ob sie das Hinzufügen externer Informationen zulassen. Wenn nicht, wäre eine Idee, alle Dokumente als PDFs in eine Kategorie zu importieren, möglicherweise eine versteckte, und dann könnte der Discourse-Code leichter darauf zugreifen, da sie sich im Forum befinden, und Langchain verwenden, um auf die PDFs zuzugreifen (Ref).
Mit diesem Wissen im System kann der System-Prompt angepasst werden, um die Antworten zu verbessern, aber dies wird immer noch weit von dem entfernt sein, was Sie suchen. Sie werden höchstwahrscheinlich immer noch Antworten wie die erste erhalten, die auf Informationen verweisen, aber keine schrittweisen Anweisungen enthalten, wenn diese benötigt werden. Außerdem gibt es keine Möglichkeit, Feedback zur KI-Antwort zu geben, das die KI als Feedback erkennt. Mit anderen Worten: Wenn ein Benutzer dem Bot antwortet, dass etwas falsch ist, würde der Bot die Antwort lesen, aber nicht verstehen, dass er sein Wissen basierend darauf aktualisieren müsste.
Um die Qualität der Antworten zu verbessern, fallen mir drei Gedanken ein.
- Verwendung von HyDE (Hypothetical Document Embeddings)
„Precise Zero-Shot Dense Retrieval without Relevance Labels“ von Luyu Gao, Xueguang Ma, Jimmy Lin und Jamie Callan (pdf)
Ich habe von HyDE tatsächlich über Discourse erfahren (Ref) und weiß, dass sie es verwenden.
-
RLHF (Reinforcement Learning from Human Feedback). Ich glaube nicht, dass einer der Bots dazu in der Lage ist, und Discourse könnte dies in Betracht ziehen; ich würde gerne ihr Feedback hören, wenn sie bereit sind, es zu teilen.
-
Synthetische Daten mit RLHF. Dies ist wirklich state-of-the-art und nicht etwas, das ich erwarten würde, dass einer der Bots implementiert.
Eine der am besten demonstrierten und erfolgreichsten Methoden zum Trainieren eines LLM ist es, ihn sich selbst trainieren zu lassen, aber Sie benötigen eine Metrik, damit er weiß, ob das Ergebnis besser oder schlechter ist. Für Ihre Website ist der einzige Weg, den ich derzeit verstehe, um zu wissen, ob eine Lösung besser oder schlechter ist, dass ein Mensch die Lösung des KI-Bots bewertet. Um mehr mögliche Runden von Fragen und Lösungen zu erhalten, werden die Fragen von einer KI generiert, eine andere KI generiert die Lösung, und dann wird die Lösung gemessen und verwendet, um die KI, die die Lösung generiert, zu verbessern.
Um die Fähigkeit des Bots zu verbessern, Nutzern zu helfen, sollte er eine Reihe von Fragen stellen, um Informationen zu sammeln und das Problem besser zu verstehen, ähnlich wie ein medizinischer Arzt bei einer Diagnose und Prognose vorgeht.
Eine andere Option ist es, sich ähnliche Technologien anzusehen, die mit dem KI-Bot zugänglich sind, wie z. B. Microsoft Copilot.
Ein Punkt, den Sie nicht angefordert oder erwähnt haben, der jedoch von Wert ist, sind Rückverweise auf die Quelle. Der Grund, warum dies wichtig ist, besteht darin zu überprüfen, ob die KI-Antwort eine Halluzination ist oder nicht. Wenn ein Referenz enthalten ist und eine echte Referenz und keine Halluzination ist, kann die Referenz überprüft werden, um festzustellen, ob sie aus einer autoritativen Quelle wie einem Handbuch stammt, und dann als keine Halluzination bekannt sein. Das Hinzufügen von Referenzen ist mit RAG einfach durchzuführen und sollte erwartet werden.
Jetzt zu Ihren spezifischen Zielen.
Unser menschliches Support-Team für ein technisches Support-Forum zu ergänzen.
Das ist eher eine Aussage als eine Frage, daher werde ich sie nicht als Frage beantworten.
Sie müsste aus unseren historischen Forumdaten lernen.
Dies war tatsächlich Teil einer größeren Aussage, die ich aufgeteilt habe. Der Grund, warum ich sie aufgeteilt habe, ist, dass Sie zwar recht haben, dass die historischen Daten im Forum von Wert sind, aber auch das Basiswissen, wie es in den Handbüchern enthalten ist, benötigt wird. Die aktuellen Bots verwenden RAG mit den Forum-Beiträgen, wissen aber nach meinem Kenntnisstand nicht, wie sie auf externe Daten zugreifen können.
Sie sollte nur versuchen, themenrelevante Fragen zu beantworten.
Dies kann durch Anpassung des System-Prompts erreicht werden. Dies würde auch einige der Technologien in Discourse AI Post Classifier - Automation rule erfordern.
Sie sollte dem Nutzer eine Möglichkeit bieten, dem Bot zu sagen, dass er aufhören soll zu antworten, damit dieser auf einen Menschen warten kann, falls er das Gefühl hat, der Bot hilft nicht weiter.
Dies kann durch Anpassung des System-Prompts erreicht werden.
Lernen diese automatisch oder werden sie mit historischen Forumdaten feinabgestimmt?
Gute Frage. Obwohl ich bereits darauf eingegangen bin, wie man beginnt, dies zu lösen, ist es tatsächlich eine viel schwierigere Frage, als es scheint, aber die großen LLM-Forscher machen hier viel bessere Fortschritte, und es könnte in den nächsten Monaten einige interessante Ankündigungen geben, die dies viel einfacher machen.
Nicht die Arbeit duplizieren, die bereits von klügeren Leuten erledigt wurde.
Ich werde das so verstehen, dass das LLM nicht von dem abweichen sollte, was es weiß. Das hängt davon ab, wie das Modell auf neues Wissen trainiert wird. Es ist möglich, das Modell schlechter zu machen, und es ist sogar noch schwieriger, ein Modell dazu zu bringen, etwas zu „verlernen“. Nach meinem Kenntnisstand haben weder der Discourse-KI-Bots die Fähigkeit zu lernen, d. h. die Gewichte im LLM zu ändern, aber sie haben die Fähigkeit, RAG mit Themenbeiträgen zu verwenden. Schlechte Themenbeiträge, Müll rein, können Müll raus erzeugen.
Die Themen, an denen der Bot teilnimmt, einschränken, damit er nicht an allgemeinen, themenfremden Gesprächen teilnimmt?
Dies wäre ähnlich wie Discourse AI Post Classifier - Automation rule.
Ist der ursprüngliche Discourse Chatbot langfristig weiterentwickelt und gewartet?
Das überlasse ich dem Discourse-Team.
Oder ist geplant, ihn eventually durch den KI-Bot im offiziellen Plugin zu ersetzen oder darin zu integrieren?
Das überlasse ich dem Discourse-Team.
