Hallo zusammen,
ich möchte einen KI-gestützten Filter für Antworten mit geringem Signalgehalt/Bedeutungslosigkeit („Wasserantworten“, generische Spam-Kommentare) innerhalb von Themen vorschlagen.
Das Problem
In vielen englischsprachigen Communities werden Themen oft mit kurzen, wenig aufschlussreichen Antworten überschwemmt, wie zum Beispiel:
- „Danke / nett / guter Beitrag“
- „Ich stimme zu“
- „Folge ich“
- „Hoch“
- allgemeine Komplimente ohne neue Informationen
Diese Antworten erzeugen Rauschen, erhöhen den Scrollaufwand und verschlechtern das Leseerlebnis für alle – besonders in langen Threads.
Moderatoren können dem mit Regeln und manuellen Aktionen entgegenwirken, aber das skaliert nicht gut. Und rein auf Regex basierende Filterungen neigen zu hohen Falsch-Positiven.
Was ich gebaut habe / Aktueller Prototyp
Ich experimentiere derzeit mit einem Plugin-ähnlichen Ansatz:
- Regex-Vorfilter, um die offensichtlichsten kurzen/ausweichenden Antworten abzufangen
- Anschließend werden die verbleibenden Kandidaten zur Klassifizierung an ein LLM übergeben
- Die Benutzeroberfläche muss transparent sein: Es muss angezeigt werden, wie viele Antworten ausgeblendet wurden
- Ausgeblendete Antworten sollten bei Bedarf einsehbar sein („Ausgeblendete Antworten anzeigen“)
- (Optional) Für ausgeblendeten Inhalt könnte ein weiterer LLM-Schritt ausgeführt werden, um 2–3 repräsentative Sätze aus den ausgeblendeten Antworten zu extrahieren, damit Leser schnell sehen können, „was verborgen wurde“, ohne alles erweitern zu müssen.
Selbst mit reiner Regex-Filterung verbessert sich das Leseerlebnis erheblich (weniger Scrollen), aber die Rate der Falsch-Positiven ist zu hoch – daher glaube ich, dass ein LLM-basiertes Urteil notwendig ist.
Vorgeschlagenes Produktverhalten (für Benutzer sichtbar)
Innerhalb jedes Themas würden Leser etwa Folgendes sehen:
- „12 Antworten ausgeblendet (Filter für geringen Signalgehalt: Mittel)“
- Schaltflächen: Ausgeblendete Antworten anzeigen / Filterstufe ändern
Und es sollten mehrere Stufen angeboten werden, zum Beispiel:
- Aus: Alles anzeigen
- Niedrig: Offensichtlichen Müll ausblenden (sehr hohe Präzision)
- Mittel: Häufige Antworten mit geringem Signalgehalt ausblenden
- Hoch: Aggressive Filterung (Benutzer stimmt zu)
Wichtig dabei:
- Dies sollte eine benutzerspezifische Einstellung sein (und möglicherweise auch pro Kategorie/Seitenstandard konfigurierbar).
- Das System muss transparent und umkehrbar bleiben: Nichts wird „gelöscht“, sondern nur standardmäßig ausgeblendet.
Warum dies zu Discourse passt (besonders jetzt)
Discourse verfügt bereits über mehrere KI-bezogene Funktionen, und das Discourse AI-Ökosystem wächst. Ich denke, ein „Cleaner“ für Antworten innerhalb des Themas ist eine der praktischsten und wirkungsvollsten Anwendungen von LLMs für die Community-Benutzererfahrung.
Es handelt sich nicht genau um „Spam-Erkennung“ (die normalerweise auf Kontoebene erfolgt). Dies betrifft eher die Lesequalität auf Themenebene.
Fragen an die Maintainer / Community
- Gibt es bei Discourse bereits Pläne für einen Filter zur Bewertung der Antwortqualität / für geringen Signalgehalt?
- Wäre es sinnvoll, dies als Erweiterung für Discourse AI oder als separates Plugin zu erstellen?
- Was ist der beste Weg, um die Benutzeroberfläche/UX so zu implementieren, dass sie transparent ist und Benutzer nicht verwirrt?
- Gibt es Bedenken hinsichtlich der Moderationsrichtlinien, Vertrauensstufen oder von Randfällen (z. B. kurze, aber wertvolle Antworten wie „Gelöst“, „+1 mit Link“ usw.)?
Wenn dieser Ansatz sinnvoll erscheint, teile ich gerne weitere Details (Regex-Regeln, UI-Mockup, Prompt-Ideen) und arbeite möglicherweise an einem PR/Plugin mit.
Danke!