Ich richte Discourse AI auf meinem Forum ein und habe einen AI-Bot/Agenten, der mit Gemini 2.5 Flash über LiteLLM und Google Vertex AI arbeitet.
Der Bot funktioniert, aber ich habe ein Problem mit seinem Anwendungsbereich.
Zum Beispiel: Mein Forum ist eine geschäftsfokussierte Community. Wenn ich den Bot frage:
“Wem gehört Uber?”
beantwortet er die Frage mit dem allgemeinen Wissen des LLM, obwohl die Frage nichts mit meinem Forum zu tun hat.
Dies führt zu zwei Problemen:
Ich möchte, dass der Bot als forumspezifischer Wissensassistent fungiert, nicht als allgemeine Gemini-/ChatGPT-Schnittstelle.
Ich möchte nicht, dass Nutzer beliebige Fragen stellen und meine LLM-Credits verbrauchen.
Ideal wäre folgender Ablauf:
Nutzer stellt Frage
↓
Ist sie für dieses Forum relevant?
↓
NEIN → höflich ablehnen
↓
JA
↓
Forumswissen durchsuchen
↓
Antwort basierend auf Forumsinhalten generieren
Hast du dir die Agents schon angesehen? Vielleicht wären der Forum Researcher oder der Forum Helper Agent besser geeignet, da sie speziell für die Arbeit im Forum optimiert sind. Oder nutzt du diese bereits?
Hmm… dann möchtest du vielleicht deinen eigenen Agenten mit einem angepassten System-Prompt erstellen, der nicht auf Anfragen außerhalb des Rahmens deines Forums antwortet.
Hier ist, was ich heute sehe, wenn ich das auf ask.discourse.com versuche:
Danke für die Frage! Da du in einem Discourse-Supportkanal gefragt hast, werde ich im Kontext antworten, wie Sprachmodelle die KI-Funktionen von Discourse antreiben — aber sag mir Bescheid, falls du eigentlich eine allgemeine technische Erklärung dazu meintest, wie LLMs funktionieren, und ich kann dich woandershin verweisen.
Jemand hier muss wissen, wie dieser Fang gemacht wurde.
Der von Ihnen im Test verwendete „Creative“-Agent ist unser „kein System-Prompt“-Agent, der die Anfrage einfach an das zugrunde liegende LLM weiterleitet.
Sie sollten einen neuen Agenten erstellen, mit einem System-Prompt, der festlegt, wie und wann er auf Ihrem eigenen Forum antworten soll.
Obwohl Prompts das Verhalten eines Agents beeinflussen können, sind sie nicht immer zuverlässig. Ich konnte den Agenten auf ask.discourse.com dazu bringen, einige Fragen zu beantworten, die nichts mit dem Thema zu tun hatten.
Ja, nachdem ein Gespräch in die Tiefe geht und du es verknüpfst, kannst du dafür sorgen, dass es weiterläuft. Für uns ist das kein Problem, da wir die Modelle selbst hosten und ohnehin nicht pro Token bezahlen. Wir analysieren auch täglich alle Gespräche auf Ask und können böswillige Nutzer sperren. Der Moderationsablauf im Forum bleibt gleich.
Wenn du mehr Kontrolle möchtest, als der System-Prompt bietet, kannst du folgende Ansätze ausprobieren:
Workflows
Unser neues Workflow-Plugin ermöglicht es dir, jede Nachricht in zwei Schritten zu verarbeiten: Zuerst bewertet ein Agent, ob auf eine Nachricht geantwortet werden soll, und ein weiterer antwortet dann bedingt.
Fine-tuned Modelle
Der zuverlässigste Weg zur Kontrolle ist der Einsatz eines Modells, das tatsächlich mit dem gewünschten Verhalten trainiert wurde.
Das ist mit Discourse AI einfach, da du für jeden Agenten LLMs auswählen und kombinieren kannst.
