Discourse API Google Perspective

||||
-|-|
:discourse2: | Riepilogo | Google Perspective API è il plugin ufficiale di Google Perspective API per Discourse
:hammer_and_wrench: | Link al repository | https://github.com/discourse/discourse-perspective-api
:open_book: | Guida all’installazione | Come installare i plugin in Discourse

Funzionalità

Cos’è l’API Perspective?

Dal sito ufficiale, “Perspective è un’API che facilita l’ospitare conversazioni migliori. L’API utilizza modelli di machine learning per valutare l’impatto percepito che un commento potrebbe avere su una conversazione. Questo modello è stato addestrato chiedendo alle persone di valutare i commenti su Internet su una scala da molto tossico a molto sano. Tossico è definito come… un commento maleducato, irrispettoso o irragionevole che è probabile porti a lasciare una discussione.”

Cosa può fare il plugin discourse-perspective-api?

  • Sollecita gli utenti a confermare l’invio di un post potenzialmente tossico prima dell’invio.
  • Segnala automaticamente i post tossici per la revisione da parte di moderatori e amministratori.
  • Opzionalmente scansiona le categorie private e i messaggi privati (PM) per contenuti tossici.

Configurazione

Dove ottengo una chiave API di Perspective?

Segui queste istruzioni per creare un account Google Cloud e ottenere accesso a una chiave API.

L’API può essere utilizzata gratuitamente, ecco i documenti di riferimento dell’API.

Guida alle impostazioni del sito

(Amministratore → Digita ‘perspective’ nel campo di testo del filtro)

L’API è attualmente disponibile solo per la lingua inglese.
Le soglie predefinite sono impostate su valori ragionevolmente alti, ma queste impostazioni offrono una certa personalizzazione per la messa a punto del funzionamento di questo plugin. Gioca con la demo live nei documenti ufficiali linkati sopra per avere un’idea di come si comporteranno le soglie.

  • perspective_enabled:
    Abilita il plugin per filtrare i post potenzialmente tossici.

  • perspective_toxicity_model:
    Scegli il modello di tossicità per l’API Perspective di Google. Leggi di più su come sono stati sviluppati questi modelli leggendo i documenti di riferimento dell’API.

    • standard
      ​classifica i commenti maleducati, irrispettosi o irragionevoli che sono probabili a far lasciare una discussione. È più facile superare la soglia sul modello standard se vengono usate parolacce e insulti in modo amichevole e i post vengono segnalati facilmente. Se scegli una soglia alta di 0.9, il modello standard segnalerà meno post e compirà meno azioni errate.

    • tossicità grave (sperimentale)
      ​Questo modello utilizza lo stesso algoritmo del modello standard, ma è addestrato a riconoscere esempi considerati ‘molto tossici’. Questo lo rende molto meno sensibile ai commenti che includono usi positivi di parolacce, ad esempio. I post vengono segnalati solo quando vengono rilevati casi estremi di tossicità e la soglia per questo modello può essere abbassata fino a 0.7 come valore ragionevole.

    Ad esempio, un post contenente "Ti amo, cazzo, amico" verrebbe segnalato dal modello standard (usando le soglie predefinite) ma non dal modello tossicità grave.

  • perspective_notify_posting_min_toxicity_enable:
    Abilita il controllo dei contenuti potenzialmente tossici mentre un utente sta cercando di inviare un post e invia una notifica nel composer quando un utente scrive qualcosa di tossico.

    • perspective_notify_posting_min_toxicity:
      Se l’API restituisce un punteggio superiore a questa soglia, notifichiamo all’utente chiedendogli se è sicuro di voler pubblicare contenuti potenzialmente tossici. Il livello di confidenza della tossicità del post tra 0 e 1 viene utilizzato per verificare la tossicità mentre un utente sta componendo un post, dove un punteggio di 1 significa estremamente tossico. Un valore superiore a 0.9 dovrebbe segnalare solo post altamente tossici, a seconda del modello utilizzato. Poiché l’utente verrà notificato prima della pubblicazione, possiamo usare una soglia leggermente più bassa qui, come 0.85, per avvisare gli utenti in anticipo.
  • perspective_flag_post_min_toxicity_enable:
    Segnala i possibili post tossici che sono già stati inviati e invia messaggi per notificare i moderatori sui post che sono stati inviati. Gli amministratori/moderatori vengono notificati sui post segnalati.

    • perspective_flag_post_min_toxicity:
      Se l’API restituisce un punteggio superiore a questa soglia, segnaliamo il post per la revisione da parte di amministratori/moderatori. Il livello di confidenza della tossicità del post tra 0 e 1 viene utilizzato per verificare la tossicità dopo che un utente ha pubblicato, dove un punteggio di 1 significa estremamente tossico. Un valore superiore a 0.9 dovrebbe segnalare solo post altamente tossici, variando in base al modello utilizzato.
  • perspective_google_api_key:
    Chiave API per l’API Perspective che hai ricevuto dopo aver completato il processo di registrazione menzionato sopra.

  • perspective_check_private_message:
    Controlla e segnala i messaggi privati se tossici.
    Nota: Il contenuto del PM verrà inviato ai moderatori/amministratori.
    Si applica anche alla modalità di backfill.

  • perspective_check_secured_categories:
    Controlla inoltre le categorie private per contenuti tossici abilitando questa impostazione.

  • perspective_backfill_posts:
    Interroga la tossicità per i post esistenti e registra i risultati nei campi personalizzati del post.
    Abilitando questa modalità viene disabilitato il controllo online per i post.

  • perspective_historical_inspection_period:
    Il periodo in giorni per avviare una nuova iterazione di query dopo aver completato l’ultima iterazione. Usato solo se perspective_backfill_posts è abilitato.

Screenshot

Cosa vede un utente quando cerca di inviare un post tossico:

Cosa vedono gli amministratori/moderatori quando viene inviato un post tossico:

CHANGELOG

TODO


Un grande ringraziamento a @fantasticfears per aver creato questo plugin!

49 Mi Piace

Sembra che l’API sia stata aggiornata e ora supporti più lingue, come il russo. Quando ci sarà un aggiornamento per estendere il supporto nel plugin?

2 Mi Piace

stessa domanda. Può funzionare per la lingua portoghese, dato che è attualmente supportata dall’API?

EDIT: L’ho testato e funziona perfettamente in portoghese.

Mi piace molto.

5 Mi Piace

Qualcosa di nuovo su questa API? Sinceramente vorrei sapere se qualcun altro la sta ancora usando e se ha qualcosa da dire

I nostri clienti utilizzano la funzione “Triage per Persona” sul plugin Discourse AI, che può fare tutto questo ma consente flessibilità per le specificità di ciascuna community.

4 Mi Piace

Gemini Flash 2.0 non è più sufficiente per la mia community, fondamentalmente non ho uno strumento di tossicità tranne questa API, ma va bene, ci penserò più tardi.

Gemini Flash 2.0 è ora diverse versioni indietro, prova a usare la versione corrente di Gemini Flash.

2 Mi Piace

Avviso importante: L’API Perspective verrà dismessa e il servizio terminerà ufficialmente dopo il 2026.

Suppongo che possiamo passare a soluzioni LLM generiche? Proprio come con il filtraggio dello spam? C’è una roadmap a cui posso iscrivermi?

1 Mi Piace

Sì, usa IA + Automazione come detto sopra

4 Mi Piace