KI-Forum Moderation: Suche nach Einblicken und Erfahrungen

Entwickler
1

Ich suche nach Möglichkeiten, KI in mein Discourse-Forum zu integrieren, um bei der Moderation zu helfen. Ich brauche keine KI, die meine Moderatoren ersetzt, sondern nur Hilfe beim Erkennen von Dingen, die Menschen normalerweise nicht sehen. Manchmal sind diese Probleme buchstäblich unsichtbar für einen Moderator (wie ein Spammer, der mehrere Konten von derselben IP-Adresse aus erstellt). Manchmal sind sie für einen Moderator sichtbar, aber es ist leicht, nachlässig zu werden und diese Dinge zu übersehen (wie ein Thema, das in der falschen Kategorie gepostet wurde, oder ein Thema, das vom Kurs abkommt).

Es gibt unzählige Aufgaben, bei denen ein KI-Moderator helfen könnte. Nur ein paar Ideen, die mir spontan einfallen:

  • Überwachung aller neuen Beiträge, um die Wahrscheinlichkeit anzugeben, ob es sich um Spammer oder legitime Benutzer handelt.
  • Überwachung neuer Benutzer und ihrer Aktivitäten, bis sie ein bestimmtes Vertrauensniveau erreicht haben.
  • Erfassung von problematischen Benutzern, die nach einer Sperrung neue Konten erstellen.
  • Identifizierung von Themen, die in der falschen Kategorie gepostet wurden, und Vorschläge, in welche Kategorie sie verschoben werden sollten.
  • Kennzeichnung und sofortige Entfernung von NSFW-Inhalten.
  • Identifizierung, wann die Konversation in einem Thema vom Kurs abkommt oder gesperrt werden sollte.
  • Identifizierung, wann ein Thema bereits behandelt wurde und umgeleitet werden sollte.
  • Identifizierung, wann ein Benutzer mehrere Konten erstellt hat (mehrere Benutzer melden sich von derselben IP-Adresse an).
  • Identifizierung, wann ein Benutzer einen werblichen oder irrelevanten Beitrag erstellt.

Ganz zu schweigen davon (und das wäre eine etwas andere Richtung), dass KI manchmal sogar auf bestimmte Themen mit einem klar gekennzeichneten KI-Profil antworten könnte. Wenn zum Beispiel jemand eine Frage dazu stellt, wie das Forum benutzt wird oder wo eine bestimmte Funktion zu finden ist (z. B. wie das Profil aktualisiert wird), könnte der Bot antworten, indem er erkennt, wann es sich um eine Frage handelt, die er leicht beantworten kann, und dann eingreift und erklärt, wie es geht.

Ich kratze hier kaum an der Oberfläche, aber die zugrunde liegende Frage ist: Hat jemand einen KI-Bot entwickelt, der bei diesen Arten von Moderationsaufgaben in Discourse helfen kann?

Wenn nicht, was hält diese Art von Innovation zurück? Dies scheint für Forenadministratoren unglaublich nützlich zu sein, nicht um Menschen zu ersetzen (obwohl das in einigen Fällen möglich sein mag), sondern um Menschen zu helfen, ihre Arbeit viel besser zu machen.

2

Ich weiß es nicht, aber ich würde vermuten: KI ist sehr unzuverlässig und kann sehr schnell sehr teuer sein.

Einige dieser Optionen sind jedoch bereits möglich. Und sie werden nicht häufig verwendet, hauptsächlich weil KI unzuverlässig ist und ein Mensch sie überwachen muss.

Ein Anrufbeantworter, der jeden Beitrag verfolgt und bei Auslösung durch Inhalte eingreift, muss in Bezug auf Hardware und reines Geld teuer sein. Aber ein Modell, das auf Kategorieebene auf jeden Thema-Starter antwortet, ist bereits möglich.

Dann gibt es etwas wie die Überwachung von IP-Adressen, was ohne KI recht einfach abzudecken ist, aber wirklich problematisch ist. Dieselbe IP-Adresse ist ziemlich üblich.

Haben Sie sich Discourse AI und Discourse Chatbot angesehen?

1 „Gefällt mir“
3

Haben Sie sich die aktuellen Fähigkeiten von Discourse AI angesehen? Es unterstützt bereits die automatische Kennzeichnung über LLM (gekoppelt mit Automatisierung).

1 „Gefällt mir“
4

Ich habe gestern gerade davon von @Jagster gehört (danke, Jakke, dass du darauf hingewiesen hast). Ich habe mir das etwas genauer angesehen, insbesondere die erweiterte Version… und wenn ich es richtig verstehe, wird es ziemlich teuer sein, dies zu implementieren, entweder durch ein Enterprise-Hosting-Konto oder einen ziemlich leistungsstarken selbst gehosteten Server.

Auf jeden Fall ist es gut zu wissen, dass dies bereits als Option existiert. Es scheint, dass dies einige wichtige Punkte erfüllt, aber ich kann mir viele weitere Möglichkeiten vorstellen, wie es genutzt werden kann. Ich bin gespannt, wie sich dies in den kommenden Monaten und Jahren weiterentwickeln wird. Es gibt ein enormes Potenzial für diese Art von Dingen!

1 „Gefällt mir“
5

Es gibt viele potenzielle positive Aspekte dafür, aber auch viele Risiken und Nachteile.

Stack Exchange hat einen KI-Bot, der Antworten überprüft und den Autor darauf hinweist, wenn seine Antwort unklar erscheint:

„Wie sie derzeit geschrieben ist, ist Ihre Antwort unklar. Bitte bearbeiten Sie sie, um zusätzliche Details hinzuzufügen, die anderen helfen zu verstehen, wie dies die gestellte Frage beantwortet. Weitere Informationen zum Verfassen guter Antworten finden Sie im Hilfe-Center. -Community-Bot“

Diese Art von Aufforderung kann sehr hilfreich sein, um klarere Erklärungen zu fördern und zu vermeiden, dass Menschen durch unklare Antworten verwirrt, frustriert oder verärgert werden.

6

Es ist nicht ressourcenintensiv auf Ihrer selbst gehosteten Instanz, da Sie einfach gehostete Modelle, z. B. OpenAI, verwenden können. Sie zahlen also nur für API-Aufrufe für Embeddings und Chat.

7

Schau dir das an

9

Ich habe eine benutzerdefinierte Integration für einen Kunden mit Discourse erstellt.

  1. Erfasste frühere Moderationsaktivitäten und trainierte ein NLP-Modell, um Themen und Kommentare zu kennzeichnen, die Aufmerksamkeit erforderten.
  2. Fügte einen Toxizitätsmoderator hinzu, der ebenfalls aus ihren früheren Moderationsaktivitäten trainiert wurde.
  3. Fügte eine Sentiment-Integration hinzu, um die schnelle Lösung von Kommentaren zu unterstützen.

Das Training erfolgt auf Google Colab und das Modell wird auf GCP geladen, um APIs von den Discourse-Webhooks zu bedienen.

11

Ich benutze gerne Foren, weil wir alle echte Menschen mit einem gemeinsamen Interesse oder Ziel sind. Wenn jemand mit einer falschen Antwort auf eine Frage antwortet, wird sich ein anderer Benutzer melden, um eine Korrektur vorzunehmen. Ich nehme an, dasselbe könnte passieren, wenn eine KI eine falsche Antwort gibt, aber es ist einfach nicht dasselbe. Es ist auch hilfreich für unser eigenes Denken, zu lesen, wie andere ein Problem angehen. Ich bin oft zu neuen Denkweisen gekommen, indem ich die gut begründete Antwort von jemandem gelesen habe, oder habe eine neue Art gelernt, etwas zu tun, von dem ich dachte, ich wüsste es bereits.

Ein weiterer Gesichtspunkt ist das Potenzial für Fehlalarme, die Menschen abschrecken können (und auch tun!). Wenn ich ein Forum als neuer Benutzer besuche und eine Maschine meinen Beitrag fälschlicherweise markiert/kennzeichnet oder mich sperrt oder was auch immer, und es ist klar, dass es nicht hätte passieren dürfen, werde ich höchstwahrscheinlich nicht wiederkommen, weil ich entweder von der Seite weg navigiere und alles vergessen werde oder einfach nur verärgert genug bin, um mich nicht darum zu kümmern, es beheben zu lassen.

Ich habe das Gefühl, dass der Impuls, menschliche Elemente aus der Moderation zu entfernen, in die falsche Richtung geht. Moderation kann manchmal vorhersehbare Regeln haben - und wir haben die Funktion “überwachte Wörter” oder den Abgleich einer IP-Adresse, um solche Dinge zu handhaben. Aber die Verwendung eines Algorithmus zur Handhabung der “weichen” Dinge führt nur zu einer endlosen Jagd nach dem perfekten Algorithmus, die die Aufmerksamkeit von der Schaffung einer gesünderen Gemeinschaft ablenkt, in der die grundlegenden Verhaltensweisen angegangen werden können. Letztendlich hoffe ich, dass die Benutzer ihr Verhalten ändern, und ich muss glauben, dass sie dazu fähig sind.

Die Routinefragen sind Gelegenheiten für Menschen, menschliche Verbindungen zu knüpfen, und diese Berührungspunkte sind absolut entscheidend für die Entwicklung von Langzeitnutzern, die Ihr Forum unterstützen werden. Ein freundliches Gesicht, das auftaucht, um eine einfache Frage zu beantworten, schafft eine einladende Atmosphäre auf eine Weise, die eine KI einfach nicht kann. Das ist aus Sicht des Community-Aufbaus “Low-Hanging Fruit”!

2 „Gefällt mir“