Plugin API di Moderazione

:information_source: Riepilogo Il Discourse Moderation API Plugin migliora il tuo forum Discourse con funzionalità di moderazione automatizzata. Sfrutta il motore di rilevamento collaudato della Moderation API e include una dashboard di moderazione migliorata per aumentare l’efficienza dei moderatori di 10 volte.
:hammer_and_wrench: Link al Repository https://github.com/moderation-api/discourse-moderation-api
:open_book: Guida all’Installazione Come installare plugin in Discourse

:hammer_and_wrench: Funzionalità in Evidenza

Moderation API è una soluzione di moderazione full stack.

Azioni di Moderazione Automatizzata

  • Segnala automaticamente commenti e argomenti.
  • Scegli tra oltre 20 modelli predefiniti per casi d’uso comuni o crea il tuo.
  • Rileva tossicità, contenuti NSFW, PII, spam, autopromozione, attività illegali e altro ancora.
  • Imposta soglie personalizzate per la segnalazione automatizzata.

Rilevamento Potenziato da LLM

  • Integra le tue linee guida della community in un agente AI.
  • Utilizza l’AI come prima linea di difesa o come moderatore fidato per segnalare i commenti.

Addestramento di Modelli Personalizzati

  • Sviluppa i tuoi modelli AI per la massima accuratezza nella moderazione.
  • Utilizza le azioni dei moderatori come feedback per addestrare e perfezionare i modelli.
  • Migliora continuamente la segnalazione automatizzata attraverso il machine learning.

Coda di Revisione Migliorata

  • Utilizza facoltativamente la coda di revisione di Moderation API per un’esperienza di moderazione semplificata e moderna.
  • Crea più code di revisione personalizzate per lingue, categorie o scopi specifici.
  • Sviluppa flussi di lavoro di moderazione per l’escalation dei contenuti.
  • Assegna moderatori a code di revisione specifiche per una gestione efficiente.

Analisi della Dashboard

  • Monitora le attività e i risultati dell’AI tramite la dashboard di Moderation API.
  • Ottieni informazioni sui problemi comuni e identifica le aree di miglioramento.

Integrazione Senza Interruzioni

  • Si integra facilmente con i flussi di lavoro e i ruoli utente esistenti di Discourse.
  • Scegli tra la coda di revisione di Discourse o la coda di revisione di Moderation API.
  • Utilizza le azioni di moderazione integrate di Discourse.

:rocket: Configurazione

Segui questi passaggi per configurare il Moderation API Plugin:

Crea un Progetto in Moderation API

  • Vai alla tua Dashboard di Moderation API.
  • Crea un nuovo progetto e seleziona le etichette che desideri rilevare.

(Facoltativo) Testa e Regola le Soglie

  • Utilizza i cursori di soglia per determinare la rigidità della tua moderazione.
  • Testa la risposta dell’API nell’area di gioco.

Imposta la Chiave API

  • Trova la tua chiave API sotto Integra nella dashboard del tuo progetto.
  • Nel pannello Admin di Discourse, vai su Impostazioni > Moderation API.
  • Incolla la tua chiave API nel campo Moderation API Key.
  • Salva le modifiche.

Abilita il Plugin

  • Seleziona il tuo comportamento di segnalazione (vedi opzioni di seguito). Puoi iniziare con “nulla” per testare il plugin senza eseguire alcuna azione.
  • Premi abilita plugin per iniziare ad analizzare i nuovi post. Il plugin non analizza alcun contenuto preesistente.

(Facoltativo) Aggiungi le Tue Linee Guida della Community

  • Vai al Model Studio in Moderation API.
  • Crea un nuovo agente AI.
  • Incorpora le tue linee guida come regole per l’agente. Se hai linee guida estese, considera la creazione di più agenti.
  • Aggiungi l’agente al tuo progetto.


:triangular_flag: Comportamenti di Segnalazione

Il plugin offre quattro diversi comportamenti di segnalazione, che determinano le azioni intraprese quando la Moderation API segnala un commento.

1. Segnala (Comportamento Predefinito)

Il bot del plugin aggiunge un flag Inappropriato al commento, seguendo la configurazione del tuo Discourse. Tipicamente, ciò significa che il commento appare nella coda di revisione, ma potrebbe non essere immediatamente nascosto finché un moderatore non lo approva o altri utenti non segnalano il commento. Rivedi le tue impostazioni relative ai flag in Discourse per la personalizzazione.

2. Metti in Coda per Revisione

Il commento viene immediatamente nascosto e aggiunto alla coda di revisione affinché i moderatori possano approvarlo o rifiutarlo.

3. Blocca Post

Il commento non viene mai pubblicato. All’autore viene mostrato un messaggio di errore che indica che il commento è stato bloccato dal sistema di moderazione automatizzata. (Puoi personalizzare il messaggio di errore.)

4. Nulla

Non vengono intraprese azioni immediate. Il commento viene analizzato e apparirà nella dashboard di Moderation API se segnalato. Questa opzione è utile per testare la Moderation API prima di abilitare completamente il plugin.


:white_check_mark: TODO

  • Abilitare le azioni dalla coda di revisione di Moderation API per rimuovere contenuti da Discourse.
  • Sincronizzare le azioni dalla coda di revisione di Discourse con la coda di revisione in Moderation API.
  • Consentire progetti di moderazione separati per categorie diverse.
  • Segnalare contenuti utilizzando una categoria di segnalazione Discourse selezionata (attualmente utilizza Inappropriato).

:wrench: Impostazioni

Di seguito è riportata una tabella delle impostazioni disponibili per il Moderation API Plugin insieme alle loro descrizioni:

Impostazione Descrizione
Abilita Moderation API Controlla se il plugin è attivo.
Predefinito: Disabilitato
Comportamento di Segnalazione Cosa succede quando i contenuti vengono segnalati:
• Metti in coda per revisione
• Segnala post
• Blocca post
• Nulla
Predefinito: Segnala post
Messaggio di Blocco Il messaggio mostrato agli utenti quando il loro post viene bloccato.
Predefinito: “Il tuo post è stato bloccato dal nostro sistema di moderazione.”
Notifica su Coda Post Invia notifiche quando i post vengono messi in coda per la revisione.
Predefinito: Abilitato
Controlla Messaggi Privati Applica la moderazione ai messaggi privati.
Predefinito: Disabilitato
Gruppi da Saltare Gruppi di utenti che bypassano i controlli di moderazione.
Predefinito: Nessuno
Categorie da Saltare Categorie del forum che bypassano i controlli di moderazione.
Predefinito: Nessuno
Chiave API La tua chiave di autenticazione Moderation API.
Predefinito: Nessuno

:credit_card: Abbonamenti

Puoi installare il plugin immediatamente e approfittare del nostro livello gratuito o della prova di 30 giorni. Per funzionalità estese e limiti di utilizzo più elevati, esplora le nostre opzioni di abbonamento.


:books: Documentazione


:hammer_and_wrench: Supporto



Disclaimer: Sebbene il Discourse Moderation API Plugin migliori significativamente le capacità di moderazione, è essenziale rivedere e comprendere le implicazioni della moderazione automatizzata. Assicurati sempre trasparenza con la tua community riguardo all’uso dell’AI nei processi di moderazione.

Nota sulla Privacy: Questo plugin elabora contenuti generati dagli utenti per applicare le regole di moderazione. Assicurati la conformità alle tue politiche sulla privacy e informa gli utenti sulle pratiche di elaborazione dei dati.


10 Mi Piace

Dalla readme del repository GitHub:

Puoi installare subito il plugin e utilizzare il nostro piano gratuito o la prova di 30 giorni.

Non sono riuscito a trovare informazioni su un piano gratuito sul sito web o nella documentazione dell’API. Quali sono le limitazioni?

Inoltre, il piano pay-as-you-go è disponibile solo quando superiamo la quota di un piano a pagamento?

2 Mi Piace

Il piano gratuito è disponibile per progetti hobbistici. Sentiti libero di inviare un messaggio per la configurazione.

Corretto, PAYG è un’opzione per i piani a pagamento quando si supera la quota inclusa.

3 Mi Piace

Mi piace vedere più strumenti di moderazione AI! Potete chiarire cosa offre questo che Discourse AI triaging non offre? Grazie!

1 Mi Piace

Sì, certo. Questo probabilmente potrebbe essere più chiaro nel post originale.

Prima permettimi di menzionare che Moderation API ti dà accesso a una piattaforma di moderazione completa in cui il motore di rilevamento è solo una parte. Essenzialmente ti assocerai a un’azienda con anni di esperienza nella risoluzione della moderazione dei contenuti.

Ma se ci concentriamo solo sul rilevamento/triage:

  1. Migliore accuratezza: Puoi scegliere tra oltre 20 classificatori predefiniti per gestire i casi d’uso più comuni. Questo rende molto facile iniziare e miglioriamo costantemente i nostri modelli in modo che tu non debba preoccuparti delle ultime novità. Di solito otterrai risultati migliori e più robusti con un classificatore ben addestrato rispetto a un LLM con prompt ingegnerizzato.

  2. Consapevolezza del contesto: Il motore di rilevamento di Moderation API può anche esaminare i messaggi precedenti in una discussione e la cronologia di un autore per fornire un’analisi migliore. Penso che questo sia un grande miglioramento rispetto al triage integrato.

  3. LLM specializzati: Credo che Discourse ti permetta di scegliere tra un paio di modelli come gpt-4o e claude, dove Moderation API supporta anche LLM addestrati specificamente per la moderazione dei contenuti come Llama-guard e altri in arrivo. I nostri LLM vengono anche pre-configurati con prompt per farli funzionare al meglio in base ai nostri dati.

  4. Addestra modelli personalizzati: Una volta che sei collegato a Moderation API, sei anche in grado di addestrare i tuoi modelli sui tuoi dati specifici.

  5. Conformità: Ospitiamo i nostri modelli sui nostri server e possiamo fornire DPA personalizzati per le aziende in cui la conformità e la regolamentazione sono una priorità. In alcuni casi possiamo anche fornire soluzioni on-premise.

  6. Costo: La parte migliore è che possiamo farlo a costi inferiori su larga scala e in ogni caso fornire tariffe fisse per costi prevedibili.

Spero che questo renda le cose più chiare. La configurazione di un progetto ti offre così tante opzioni e flessibilità rispetto alla semplice scrittura di un prompt, quindi direi che è una soluzione molto più potente e specializzata.

2 Mi Piace

Durante l’installazione del plugin, ricompilando l’app ottengo questo errore nella ricompilazione:

Gem::LoadError: impossibile attivare faraday-2.12.2, già attivato faraday-2.13.4
… /plugins/discourse-moderation-api/plugin.rb:11:in `activate!’

Log completi: er-js/faker-10.0.0 * [new branch] dependabot/npm_and_yarn/fortawesome - Pastebin.com

Daniel, grazie per aver provato il plugin.

Ci sto lavorando ora. Nel frattempo, sarà un po’ più facile aiutarti se contatti support@moderationapi.com

Questo dovrebbe ora essere risolto nella versione più recente del plugin. Credo che tu possa semplicemente ricompilare la tua app ora.