Moderation API Plugin

| | | |\n| - | - | - |\n| :information_source: | Zusammenfassung | Das Discourse Moderation API Plugin erweitert Ihr Discourse-Forum um automatisierte Moderationsfunktionen. Es nutzt die bewährte Erkennungs-Engine der Moderation API und enthält ein verbessertes Moderations-Dashboard, um die Effizienz von Moderatoren um das 10-fache zu steigern. |\n| :hammer_and_wrench: | Repository-Link | https://github.com/moderation-api/discourse-moderation-api |\n| :open_book: | Installationsanleitung | So installieren Sie Plugins in Discourse |\n\n\n\n\n\u003cbr\u003e\n\n## :hammer_and_wrench: Hervorgehobene Funktionen\n\nDie Moderation API ist eine Full-Stack-Moderationslösung.\n\nAutomatisierte Moderationsaktionen\n* Kommentare und Themen automatisch markieren.\n* Wählen Sie aus über 20 vorgefertigten Modellen für gängige Anwendungsfälle oder erstellen Sie Ihr eigenes.\n* Erkennen von Toxizität, NSFW-Inhalten, PII, Spam, Eigenwerbung, illegalen Aktivitäten und mehr.\n* Legen Sie benutzerdefinierte Schwellenwerte für die automatische Markierung fest.\n \n\nLLM-gestützte Erkennung\n\n * Integrieren Sie Ihre Community-Richtlinien in einen KI-Agenten.\n * Nutzen Sie KI als erste Verteidigungslinie oder als vertrauenswürdigen Moderator, um Kommentare zu markieren.\n\nTraining benutzerdefinierter Modelle\n\n * Entwickeln Sie Ihre eigenen KI-Modelle für höchste Moderationsgenauigkeit.\n * Nutzen Sie Moderationsaktionen als Feedback zum Trainieren und Verfeinern von Modellen.\n * Verbessern Sie kontinuierlich die automatische Markierung durch maschinelles Lernen.\n\nErweiterte Überprüfungswarteschlange\n\n * Nutzen Sie optional die Überprüfungswarteschlange der Moderation API für eine optimierte und moderne Moderationserfahrung.\n * Erstellen Sie mehrere Überprüfungswarteschlangen, die auf verschiedene Sprachen, Kategorien oder bestimmte Zwecke zugeschnitten sind.\n * Entwickeln Sie Moderations-Workflows für die Eskalation von Inhalten.\n * Weisen Sie Moderatoren spezifischen Überprüfungswarteschlangen zur effizienten Verwaltung zu.\n\nDashboard-Analysen\n\n * Überwachen Sie KI-Aktivitäten und -Ergebnisse über das Dashboard der Moderation API.\n * Gewinnen Sie Einblicke in häufige Probleme und identifizieren Sie Verbesserungspotenziale.\n\nNahtlose Integration\n\n * Lässt sich einfach in bestehende Discourse-Workflows und Benutzerrollen integrieren.\n * Wählen Sie zwischen der Discourse-Überprüfungswarteschlange oder der Überprüfungswarteschlange der Moderation API.\n * Nutzt integrierte Moderationsaktionen von Discourse.\n\n—\n\n## :rocket: Konfiguration\n\nBefolgen Sie diese Schritte, um das Moderation API Plugin zu konfigurieren:\n\n\nErstellen Sie ein Projekt in der Moderation API\n* Navigieren Sie zu Ihrem Moderation API Dashboard.\n* Erstellen Sie ein neues Projekt und wählen Sie die zu erkennenden Labels aus.\n\n

\n\n**(Optional) Testen und Schwellenwerte anpassen**\n* Verwenden Sie die Schieberegler, um die Strenge Ihrer Moderation zu bestimmen.\n* Testen Sie die API-Antwort im Playground.\n\n\n\nAPI-Schlüssel festlegen\n* Suchen Sie Ihren API-Schlüssel unter “Integrieren” in Ihrem Projekt-Dashboard.\n* Navigieren Sie im Admin-Panel von Discourse zu Einstellungen > Moderation API.\n* Fügen Sie Ihren API-Schlüssel in das Feld “Moderation API Key” ein.\n* Speichern Sie die Änderungen.\n\nAktivieren Sie das Plugin\n* Wählen Sie Ihr Markierungsverhalten (siehe Optionen unten). Sie können mit “Nichts” beginnen, um das Plugin zu testen, ohne Aktionen durchzuführen.\n* Drücken Sie “Plugin aktivieren”, um die Analyse neuer Beiträge zu starten. Das Plugin analysiert keine bereits vorhandenen Inhalte. \n\n**(Optional) Fügen Sie Ihre Community-Richtlinien hinzu**\n* Gehen Sie zum Model Studio in der Moderation API.\n* Erstellen Sie einen neuen KI-Agenten.\n* Integrieren Sie Ihre Richtlinien als Regeln für den Agenten. Wenn Sie umfangreiche Richtlinien haben, sollten Sie mehrere Agenten erstellen.\n* Fügen Sie den Agenten Ihrem Projekt hinzu.\n\n\n\n—\n\n## :triangular_flag: Markierungsverhalten\n\nDas Plugin bietet vier verschiedene Markierungsverhalten, die bestimmen, welche Aktionen ausgeführt werden, wenn die Moderation API einen Kommentar markiert.\n\n### 1. Markieren (Standardverhalten)\n\nDer Plugin-Bot fügt dem Kommentar eine Markierung “Unangemessen” hinzu, gemäß Ihrer Discourse-Konfiguration. Dies bedeutet normalerweise, dass der Kommentar in der Überprüfungswarteschlange erscheint, aber möglicherweise nicht sofort ausgeblendet wird, bis ein Moderator ihn genehmigt oder zusätzliche Benutzer den Kommentar markieren. Überprüfen Sie Ihre flaggenbezogenen Einstellungen in Discourse zur Anpassung.\n\n### 2. Zur Überprüfung einreihen\n\nDer Kommentar wird sofort ausgeblendet und in die Überprüfungswarteschlange eingereiht, damit Moderatoren ihn genehmigen oder ablehnen können.\n\n### 3. Beitrag blockieren\n\nDer Kommentar wird nie veröffentlicht. Der Autor erhält eine Fehlermeldung, die besagt, dass der Kommentar vom automatisierten Moderationssystem blockiert wurde. (Sie können die Fehlermeldung anpassen.)\n\n### 4. Nichts\n\nEs werden keine sofortigen Aktionen durchgeführt. Der Kommentar wird analysiert und erscheint im Dashboard der Moderation API, wenn er markiert wird. Diese Option ist nützlich, um die Moderation API vor der vollständigen Aktivierung des Plugins zu testen.\n\n—\n\n## :white_check_mark: TODO\n\n* Aktionen aus der Überprüfungswarteschlange der Moderation API aktivieren, um Inhalte aus Discourse zu entfernen.\n* Aktionen aus der Überprüfungswarteschlange von Discourse mit der Überprüfungswarteschlange in der Moderation API synchronisieren.\n* Separate Moderationsprojekte für verschiedene Kategorien zulassen.\n* Inhalte mit einer ausgewählten Discourse-Markierungskategorie markieren (derzeit wird “Unangemessen” verwendet). \n\n—\n\n\n\n### :wrench: Einstellungen\n\nNachfolgend finden Sie eine Tabelle der verfügbaren Einstellungen für das Moderation API Plugin zusammen mit ihren Beschreibungen:\n\n| Einstellung | Beschreibung |\n|---------|-------------|\n| Moderation API aktivieren | Steuert, ob das Plugin aktiv ist.\u003cbr\u003eStandard: Deaktiviert |\n| Markierungsverhalten | Was passiert, wenn Inhalte markiert werden:\u003cbr\u003e• Zur Überprüfung einreihen\u003cbr\u003e• Beitrag markieren\u003cbr\u003e• Beitrag blockieren\u003cbr\u003e• Nichts\u003cbr\u003eStandard: Beitrag markieren |\n| Blockierungsnachricht | Die Nachricht, die Benutzern angezeigt wird, wenn ihr Beitrag blockiert wird.\u003cbr\u003eStandard: “Ihr Beitrag wurde von unserem Moderationssystem blockiert.” |\n| Benachrichtigung bei Beitragsreihen | Benachrichtigungen senden, wenn Beiträge zur Überprüfung eingereiht werden.\u003cbr\u003eStandard: Aktiviert |\n| Private Nachrichten prüfen | Moderation auf private Nachrichten anwenden.\u003cbr\u003eStandard: Deaktiviert |\n| Gruppen überspringen | Benutzergruppen, die Moderationsprüfungen umgehen.\u003cbr\u003eStandard: Keine |\n| Kategorien überspringen | Forum-Kategorien, die Moderationsprüfungen umgehen.\u003cbr\u003eStandard: Keine |\n| API-Schlüssel | Ihr Authentifizierungsschlüssel für die Moderation API.\u003cbr\u003eStandard: Keine |\n\n\n## :credit_card: Abonnements\n\nSie können das Plugin sofort installieren und unseren kostenlosen Tarif oder eine 30-tägige Testversion nutzen. Für erweiterte Funktionen und höhere Nutzungslimits erkunden Sie unsere Abonnementoptionen.\n\n—\n\n## :books: Dokumentation\n\n- Lesen Sie die vollständige Dokumentation hier\n\n—\n\n## :hammer_and_wrench: Support\n\n- Support erhalten: support@moderationapi.com\n- Funktionsanfrage: Funktionsanfragen\n- Problem melden: Hier melden\n\n\u003cbr\u003e\n\n—\n \n\n\n\n\n\nHaftungsausschluss: Obwohl das Discourse Moderation API Plugin die Moderationsfähigkeiten erheblich verbessert, ist es unerlässlich, die Auswirkungen der automatisierten Moderation zu überprüfen und zu verstehen. Stellen Sie stets Transparenz gegenüber Ihrer Community bezüglich des Einsatzes von KI in Moderationsprozessen sicher.\n\nDatenschutzhinweis: Dieses Plugin verarbeitet benutzergenerierte Inhalte, um Moderationsregeln durchzusetzen. Stellen Sie die Einhaltung Ihrer Datenschutzrichtlinien sicher und informieren Sie die Benutzer über die Datenverarbeitungspraktiken.\n\n—

10 „Gefällt mir“

Aus der GitHub-Repo-Readme:

Sie können das Plugin sofort installieren und unsere kostenlose Stufe oder 30-tägige Testversion nutzen.

Ich konnte keine Informationen über eine kostenlose Stufe auf der Website oder in der API-Dokumentation finden. Was sind die Einschränkungen?

Ist der Pay-as-you-go-Plan auch nur verfügbar, wenn wir das Kontingent eines bezahlten Plans überschreiten?

2 „Gefällt mir“

Die kostenlose Stufe ist für Hobbyprojekte verfügbar. Senden Sie uns gerne eine Nachricht, um die Einrichtung zu veranlassen.

Korrekt, PAYG ist für bezahlte Pläne eine Option, wenn das enthaltene Kontingent überschritten wird.

3 „Gefällt mir“

Ich sehe gerne mehr KI-Moderationstools! Können Sie bitte klarstellen, was dies bietet, was das KI-Triage von Discourse nicht bietet? Vielen Dank!

1 „Gefällt mir“

Ja, natürlich. Das könnte im ursprünglichen Beitrag klarer formuliert werden.

Zuerst möchte ich erwähnen, dass die Moderation API Ihnen Zugang zu einer vollständigen Moderationsplattform verschafft, bei der die Erkennungs-Engine nur ein Teil davon ist. Sie werden im Wesentlichen mit einem Unternehmen zusammenarbeiten, das jahrelange Erfahrung in der Lösung von Content-Moderation hat.

Aber wenn wir uns nur auf die Erkennung/Triage konzentrieren:

  1. Bessere Genauigkeit: Sie können aus über 20 vortrainierten Klassifikatoren auswählen, um die häufigsten Anwendungsfälle zu behandeln. Dies erleichtert den Einstieg, und wir verbessern unsere Modelle ständig, sodass Sie sich nicht um die neuesten und besten kümmern müssen.
    Sie erhalten normalerweise bessere und robustere Ergebnisse mit einem gut trainierten Klassifikator im Vergleich zu einem Prompt-gesteuerten LLM.

  2. Kontextbewusstsein: Die Erkennungs-Engine der Moderation API kann auch frühere Nachrichten in einem Thread und die Historie eines Autors berücksichtigen, um eine bessere Analyse zu liefern. Ich denke, das ist eine große Verbesserung gegenüber der integrierten Triage.

  3. Spezialisierte LLMs: Ich glaube, Discourse lässt Sie zwischen einigen Modellen wie gpt-4o und Claude wählen, während die Moderation API auch speziell für Content-Moderation trainierte LLMs wie Llama-guard und weitere unterstützt. Unsere LLMs werden auch mit vor konfigurierten Prompts geliefert, um ihre Leistung basierend auf unseren Daten zu optimieren.

  4. Eigene Modelle trainieren: Sobald Sie mit der Moderation API verbunden sind, können Sie auch Ihre eigenen Modelle mit Ihren spezifischen Daten trainieren.

  5. Compliance: Wir hosten unsere Modelle auf unseren eigenen Servern und können kundenspezifische DPAs für Unternehmen bereitstellen, bei denen Compliance und Regulierung Priorität haben. In einigen Fällen können wir sogar On-Premise-Lösungen anbieten.

  6. Kosten: Das Beste daran ist, dass wir bei großen Volumina günstiger sein können und in jedem Fall Festpreise für vorhersehbare Kosten anbieten.

Ich hoffe, das macht es klarer. Die Konfiguration eines Projekts bietet Ihnen so viele Optionen und Flexibilität im Vergleich zum bloßen Schreiben eines Prompts, daher würde ich sagen, es ist einfach eine viel leistungsfähigere und spezialisiertere Lösung.

2 „Gefällt mir“

Beim Installieren des Plugins erhalte ich beim erneuten Erstellen der App diesen Fehler:

Gem::LoadError: kann faraday-2.12.2 nicht aktivieren, bereits aktiviert faraday-2.13.4
… /plugins/discourse-moderation-api/plugin.rb:11:in `activate!’

Vollständige Protokolle: er-js/faker-10.0.0 * [new branch] dependabot/npm_and_yarn/fortawesome - Pastebin.com

Daniel, vielen Dank, dass Sie das Plugin ausprobiert haben.

Ich schaue mir das gerade an. In der Zwischenzeit wäre es etwas einfacher zu helfen, wenn Sie sich an support@moderationapi.com wenden.

Dies sollte nun in der neuesten Version des Plugins behoben sein. Ich glaube, Sie können Ihre App jetzt einfach neu erstellen.