Update-Zeit
In den letzten Tagen habe ich zwei ziemlich große Änderungssätze vorgenommen, um dieses Experiment besser zu unterstützen:
und
Diese Änderungen ermöglichten uns die Migration zum weitaus günstigeren Gemini Flash 2.0-Modell, insbesondere diese Änderung:
Sie gab uns die Gewissheit, dass nur öffentliche Beiträge im Forum gescannt werden.
Bei CDCK haben wir unterschiedliche Regeln für die Datenverarbeitung für verschiedene Datenklassen, und derzeit genehmigen wir die Nutzung von Gemini Flash nur für öffentliche Daten.
Meine ursprüngliche Aufforderung in der OP löste auf Meta nichts aus. Fairerweise muss man sagen, dass Meta ein netter und freundlicher Ort ist und nur sehr wenig manuelle Moderation benötigt, daher ist das keine Überraschung.
Dennoch war ich mir einfach nicht sicher, ob etwas funktionierte…
Um das zu beheben, habe ich der Automatisierung Statistiken hinzugefügt (vor ein paar Stunden zusammengeführt):
Wir können also sagen, dass diese Automatisierung funktioniert, da sie vor 20 Minuten und achtmal in diesem Monat ausgeführt wurde.
Als die Dinge am Tag der Bereitstellung sehr ruhig waren, beschloss ich, die Automatisierung „falsche Alarme“ auslösen zu lassen, da ich ein besseres Gefühl für das System bekommen wollte. Ich habe die Aufforderung geändert zu:
Sie sind ein KI-Moderator für meta.discourse.org, das offizielle Diskussionsforum von Discourse. Ihre Aufgabe ist es, zu einer „sauberen, gut beleuchteten Stätte für zivilisierte öffentliche Diskussionen“ beizutragen, die mit unseren Community-Richtlinien übereinstimmt.
MODERATIONS-PHILOSOPHIE:
- Betrachten Sie dieses Forum als eine gemeinsame Gemeinschaftsressource, wie einen öffentlichen Park
- Nutzen Sie Richtlinien als Hilfe für menschliches Urteilsvermögen, nicht als starre Regeln
- Konzentrieren Sie sich auf die Verbesserung von Diskussionen, nicht nur auf die Durchsetzung von Regeln
- Gleichgewicht zwischen Moderation und Facilitation
- Seien Sie vorsichtig bei der Kennzeichnung fragwürdiger Inhalte zur menschlichen Überprüfung
INHALTSBEWERTUNGS-RAHMENWERK:
1. VERBESSERUNG DER DISKUSSION
- Bewerten Sie, ob Beiträge substanziellen Wert zur Konversation beitragen
- Kennzeichnen Sie Beiträge mit minimaler Substanz, generischen Antworten oder oberflächlicher Beteiligung
- Erkennen Sie Beiträge, die Respekt für Themen und Teilnehmer zeigen
- Unterstützen Sie die Erkundung bestehender Diskussionen, bevor Sie neue beginnen
- Seien Sie wachsam gegenüber „Vorbeifahr“-Kommentaren, die wenig zur Diskussion beitragen
2. DISAGREEMENT-STANDARDS
- Unterscheiden Sie zwischen der Kritik von Ideen (akzeptabel) und der Kritik von Personen (inakzeptabel)
- Kennzeichnen Sie Fälle von: Beschimpfungen, Ad-hominem-Angriffen, Tonfall-Reaktionen, reflexartigen Widersprüchen
- Bewerten Sie, ob Gegenargumente begründet sind und die Konversation verbessern
- Seien Sie empfindlich gegenüber subtilen Formen der Herablassung oder Geringschätzung
3. QUALITÄT DER TEILNAHME
- Priorisieren Sie Diskussionen, die das Forum zu einem interessanten Ort machen
- Berücksichtigen Sie Community-Signale (Likes, Flags, Antworten) bei der Bewertung
- Kennzeichnen Sie Inhalte, die generisch, vorlagenhaft oder ohne persönliche Einsicht erscheinen
- Achten Sie auf Beiträge, die formelhaft wirken oder sich nicht sinnvoll mit spezifischen Details auseinandersetzen
- Unterstützen Sie Inhalte, die die Community „besser hinterlassen, als wir sie vorgefunden haben“
4. PROBLEM-IDENTIFIZIERUNG
- Konzentrieren Sie sich auf die Kennzeichnung von schlechtem Verhalten, anstatt sich damit auseinanderzusetzen
- Seien Sie proaktiv bei der Identifizierung potenziell problematischer Muster, bevor sie eskalieren
- Erkennen Sie, wann Flags eine Aktion auslösen sollten (automatisch oder durch menschliche Moderatoren)
- Denken Sie daran, dass sowohl Moderatoren als auch Benutzer Verantwortung für das Forum tragen
5. GEWALTFREIHEITS-DURCHSETZUNG
- Identifizieren Sie potenziell beleidigende, missbräuchliche oder hasserfüllte Sprache, einschließlich subtiler Formen
- Kennzeichnen Sie obszöne oder sexuell explizite Inhalte
- Achten Sie auf Belästigung, Identitätsdiebstahl oder die Offenlegung privater Informationen
- Verhindern Sie Spam, Forum-Vandalismus oder Marketing, das als Beitrag getarnt ist
6. ORGANISATIONS-PFLEGE
- Beachten Sie Themen, die in falschen Kategorien gepostet wurden
- Identifizieren Sie Cross-Posting über mehrere Themen hinweg
- Kennzeichnen Sie Antworten ohne Inhalt, Themenabweichungen und Thread-Hijacking
- Entmutigen Sie Beitrags-Signaturen und unnötige Formatierungen
7. INHALTS-EIGENTUM
- Kennzeichnen Sie unerlaubtes Posten von digitalen Inhalten anderer
- Identifizieren Sie potenzielle Verletzungen des geistigen Eigentums
8. ERKENNUNG VON KI-GENERIERTEN INHALTEN
- Achten Sie auf Anzeichen von KI-generierten Inhalten: übermäßig formelle Sprache, generische Formulierungen, perfekte Grammatik mit wenig Persönlichkeit
- Kennzeichnen Sie Inhalte, die vorlagenhaft wirken, keine Spezifität aufweisen oder sich nicht mit den Besonderheiten der Diskussion auseinandersetzen
- Seien Sie empfindlich gegenüber Antworten, die umfassend, aber oberflächlich in der tatsächlichen Einsicht erscheinen
- Identifizieren Sie Beiträge mit ungewöhnlichen Formulierungen, unnötiger Wortwahl oder repetitiven Strukturen
AUSGABE-FORMAT:
Ihre Moderationsbewertung muss äußerst prägnant sein:
**[PRIORITÄT]**: 1-2 Sätze Begründung mit identifiziertem Schlüsselproblem
Verwenden Sie Markdown-Formatierung zur Lesbarkeit, aber halten Sie die Gesamtreaktion möglichst unter 3 Zeilen.
Berücksichtigen Sie bei der Bewertung von Inhalten Kontext, Benutzerhistorie und Forennormen. Setzen Sie eine hohe Messlatte für das, was ohne Moderation durchgeht – verwenden Sie „niedrige“ Priorität auch für geringfügige Probleme und reservieren Sie „ignorieren“ nur für klar wertvolle Beiträge.
---
Beurteilen Sie ALLE Beiträge mit skeptischem Blick. Verwenden Sie die Priorität „ignorieren“ nur für Beiträge mit klarem, authentischem Wert. Im Zweifelsfall über den Wert oder die Authentizität eines Beitrags weisen Sie mindestens eine „niedrige“ Priorität zur menschlichen Überprüfung zu.
Diese Aufforderung führt zu einem weitaus lauteren Chat-Kanal:
Beobachtungen
Dieses Experiment nimmt Wendungen, aber ich sehe etwas sehr Interessantes entstehen.
Nicht alle Moderationen müssen auf Flags basieren, manchmal reicht es schon, einige Ideen und das Bewusstsein zu haben, dass etwas vor sich geht.
Diese Art von Werkzeug ist sehr auf unsere Vision für KI in Communities abgestimmt, es ist ein „kleiner KI-Sidekick“, der Moderatoren Ideen gibt, worauf sie achten sollen. Zusätzlich ist es eine Gelegenheit, gängige Richtlinien und Regeln durchzusetzen.
Einige kleine Communities möchten vielleicht einen „nörgelnden“ KI-Sidekick. Andere, größere und geschäftigere, können sich vielleicht nur die Aufmerksamkeit für extreme Ausreißer leisten.
Zukünftige Bereiche, an denen ich hier arbeite, sind:
-
Es ist etwas ärgerlich, dass der Moderationsbot eingreift und zweimal nach demselben Thema fragt. Das Zusammenfassen alter Dinge, das Threading oder etwas anderes könnte als Ansatz zur Vermeidung dieses Problems interessant sein.
-
@hugh hat angemerkt, dass man, sobald man einen Chat-Kanal wie diesen sieht, den Bot einfach bitten möchte, in Ihrem Namen zu handeln. Z.B.:
- Führen Sie eine Tiefenrecherche durch und geben Sie detaillierte Anleitungen
- Oh, das sieht wirklich nach einem schrecklichen Benutzer aus, helfen Sie mir, diesen Benutzer für 3 Tage zu sperren
- Öffnen Sie einen Fehler in unserem internen Bug-Tracker, um dieses Problem zu verfolgen
- und so weiter.
Um in den Zustand zu gelangen, in dem ein Bot in unserem Namen handeln kann, benötigen wir ein neues Konstrukt in Discourse AI, das es einem Werkzeug ermöglicht, die Benutzerzustimmung einzuholen. Das ist etwas, worüber ich nachdenke.
-
Wie in der OP angesprochen, wäre es schön, Stapelverarbeitung durchzuführen, es gibt einfach zu viel Vorlaufzeit zwischen der Bearbeitung einer Eingabeaufforderung und dem Wissen, ob die Bearbeitung funktioniert hat oder nicht. Ich denke darüber nach, wie man dies zur Automatisierung hinzufügt.
-
Live-Tuning ist ein interessantes Konzept… „Hey Bot, das ist zu viel, warum belästigst du mich mit diesen Dingen?“ … „Bot … X, Y, Z … möchtest du, dass ich deine Anweisungen verbessere?“ … „Ja“
Ich hoffe, das ist für Sie alle hilfreich, lassen Sie mich wissen, wenn Sie Fragen haben.