Ich hatte gerade eine bizarre Unterhaltung mit dem KI-Hilfsassistenten. Er gab mir zweimal schlechten Rat und bestritt dann komplett, genau das gesagt zu haben, was er gerade gesagt hatte. Selbst als ich Screenshots und Textkopien einfügte, bestritt er es weiterhin und beschuldigte mich, ihn anzulügen. Entweder wird die KI verrückt oder ich 
Wie auch immer, sie funktioniert definitiv auf mehreren Ebenen falsch, daher dachte ich, es lohnt sich, das hier zu erwähnen.
Falls du weißt, welches Modell verwendet wurde, sowie relevante Einstellungen wie das Reasoning-Level, könnten diese Informationen hilfreich sein. Verschiedene Modelle und Reasoning-Einstellungen können unterschiedlich reagieren, daher könnten diese Details dabei helfen, die Ursache des Problems einzugrenzen.
Hinweis:
Ich bin ein regelmäßiger Nutzer des OpenAI-Discourse-Forums, daher bin ich es gewohnt, Berichte über widersprüchliche KI-Antworten, den Verlust oder die Fehlinterpretation des Gesprächskontexts sowie Fälle zu lesen, in denen ein Modell etwas Falsches leugnet, das es zuvor gesagt hat.
Aus dem, was ich dort beobachtet habe, scheinen Berichte dieser Art im Vergleich zu der Zeit, in der Reasoning-Modelle vor über einem Jahr erstmals weit verbreitet wurden, seltener zu sein. Das ist jedoch nur mein Eindruck und kein quantifizierbares Faktum.
Danke – wie kann ich überprüfen, welches Modell verwendet wird? Das ist mein erstes Mal als Admin eines Discourse-Forums, daher gewöhne ich mich noch daran. Mir fällt nicht ein, dass ich jemals KI-bezogene Änderungen vorgenommen hätte, daher gehe ich davon aus, dass die KI die Discourse-Standardfunktion ist.
Übrigens handelt es sich um ein gehostetes Forum.
Das ist genau die Frage, der ich nachgehen würde, wenn ich ein Admin wäre, der einen solchen Bericht verfolgt.
Ich bin Admin auf einem anderen Discourse-Forum, das selbst gehostet wird, und werde daher ein wenig recherchieren.
Ich habe auch ChatGPT gebeten, meine Antwort zu überprüfen, und es hat Folgendes hinzugefügt, was ich nun verifizieren werde, es aber vorab weitergebe, damit ihr nicht warten müsst.
Laut der Dokumentation zu Discourse AI können Administratoren die konfigurierten Modelle unter folgendem Pfad einsehen:
Admin → Plugins → Discourse AI → LLMs
Die Funktionen von Discourse AI werden auch durch Personas unterstützt, und eine Persona kann so konfiguriert werden, dass sie ein bestimmtes LLM verwendet. Die aktuelle Konfiguration der KI-Funktion kann anzeigen, welche Persona und welches LLM eine bestimmte Funktion antreiben.
Nützliche Referenzen:
Was ich bisher nicht gefunden habe, ist eine dokumentierte Möglichkeit für einen gewöhnlichen Benutzer, ein abgeschlossenes Help-AI-Gespräch zu inspizieren und das genaue Modell zu sehen, das diese spezifische Interaktion verarbeitet hat.
Falls jemand weiß, ob diese Informationen Benutzern, Administratoren oder in den Server-Logs für eine einzelne Anfrage offengelegt werden, bitte fügt sie hier hinzu. Das wäre für Berichte wie diesen nützlich.
Bei der Überprüfung des oben KI-generierten Abschnitts, den ich aus Transparenzgründen unverändert lasse, würde ich einige Korrekturen vornehmen.
Erstens würde ich den Link Discourse AI – AI bot entfernen. Er scheint nicht notwendig zu sein, um die spezifische Frage zu beantworten, welches Modell verwendet wird.
Ich würde auch Folgendes entfernen:
Was ich bisher nicht gefunden habe, ist eine dokumentierte Möglichkeit für einen gewöhnlichen Benutzer, ein abgeschlossenes Help-AI-Gespräch zu inspizieren und das genaue Modell zu sehen, das diese spezifische Interaktion verarbeitet hat.
Diese Einschränkung ist hier nicht besonders relevant, da du erwähnt hast, dass du ein Admin bist und somit Zugriff auf Konfigurationsinformationen hast, auf die ein gewöhnlicher Benutzer keinen Zugriff hätte.
Schließlich würde ich, da ich nun weiß, wo die relevanten Konfigurationsdetails zu finden sind, auch Folgendes entfernen:
Falls jemand weiß, ob diese Informationen Benutzern, Administratoren oder in den Server-Logs für eine einzelne Anfrage offengelegt werden, bitte fügt sie hier hinzu. Das wäre für Berichte wie diesen nützlich.
An diesem Punkt ist der nützlichere Weg, die Discourse-AI-Konfiguration zu inspizieren und festzustellen, welches LLM der Help-AI-Funktion zugewiesen ist.
Es gibt eine sehr lange Liste an KI-Einstellungen, aber hier sind die wichtigsten. Sag Bescheid, wenn du nach etwas Bestimmtem suchen möchtest, oder ich kann die komplette Liste posten.
EDIT: Ich habe ein völlig separates Claude-Konto, und Claude ist bei Discourse-Anfragen ziemlich hilfreich, aber ich würde erwarten, dass der Standard-Discourse-Helfer-Agent besser ist als eine allgemeine KI.
Da ich nicht Experte für alle aktuellen Discourse AI-Einstellungen bin, handelt es sich hierbei um mein bestes Verständnis.
Auf meiner wie auch auf deiner Seite zeigt die Einstellung an:
Standard-LLM-Modell: CDCK Hosted LLM
Soweit ich feststellen konnte, handelt es sich dabei um den gehosteten LLM-Dienst von Discourse. Genauer gesagt ist die aktuelle CDCK/MoM-Implementierung eine Mixture of Models-Routing-Schicht und kein festes einzelnes Modell. Sie kann Anfragen je nach Aufgabe an verschiedene Open-Weight-Modelle weiterleiten. Hier gibt es eine hilfreiche Erklärung von Discourse:
Ein weiterer nützlicher Ort zur Überprüfung ist:
/admin/plugins/discourse-ai/ai-llms
Das ist die LLM-Konfigurationsseite von Discourse AI, auf der Administratoren die konfigurierten LLM-Verbindungen und die für die Discourse AI-Funktionen verfügbaren Modelle einsehen können.
Zum Beispiel sehe ich auf der Site, für die ich Administrator bin:
Dies gibt Hinweise darauf, ob diese Konfiguration die von dir verwendete Aktion unterstützt.
Das scheint die Frage zu beantworten, die ich bezüglich des Modells und der Einstellungen gestellt hatte.
Auf den ersten Blick hat mich diese Liste etwas überrascht. Dann fragte ich mich, ob du vielleicht den Free-Plan nutzt.
Bei der Überprüfung deines früheren Themas Changing to Full Width habe ich Folgendes gefunden:
I am on the 14-day trial for the Pro version
Damit ist meine Neugier gestillt.
Ein weiteres Beispiel, damit du weißt, dass du damit nicht allein bist.
Ich habe jetzt den vollen Pro-Plan, daher sollte das dafür der Standard sein.
Außerdem fühle ich mich mit der Breite von Discourse jetzt deutlich wohler und habe die nötigen Anpassungen vorgenommen. Im Rückblick wirken ältere Foren in voller Breite etwas seltsam
An dieser Stelle kann ich nicht mehr viel hinzufügen, aber ich wollte dich nicht im Unklaren lassen, ob ich mich noch damit beschäftige.
Ich freue mich, dass du das gepostet hast. Ich gehe davon aus, dass andere in Zukunft auf Ähnliches stoßen könnten, und dieses Thema bietet nun eine nützliche Dokumentation sowie einen klareren Ansatzpunkt für die weitere Untersuchung.
