Discourse API Perspective di Google

:discourse2: Riepilogo Google Perspective API è il plugin ufficiale di Google Perspective API per Discourse
:hammer_and_wrench: Link al Repository https://github.com/discourse/discourse-perspective-api
:open_book: Guida all’Installazione Come installare i plugin in Discourse

Funzionalità

Cos’è la Perspective API?

Dal sito ufficiale, “Perspective è un’API che rende più semplice ospitare conversazioni migliori. L’API utilizza modelli di apprendimento automatico per valutare l’impatto percepito che un commento potrebbe avere su una conversazione. Questo modello è stato addestrato chiedendo alle persone di valutare i commenti su Internet su una scala da molto tossico a molto sano. Tossico è definito come… un commento maleducato, irrispettoso o irragionevole che è probabile che ti faccia lasciare una discussione.”

Cosa può fare il plugin discourse-perspective-api?

  • Avvisare gli utenti se sono sicuri di voler inviare un post potenzialmente tossico, prima dell’invio.
  • Segnalare automaticamente i post tossici per la revisione da parte di moderatori e amministratori.
  • Opzionalmente scansionare categorie private e messaggi privati (PM) per contenuti tossici.

Configurazione

Dove posso ottenere una chiave API Perspective?

Segui queste istruzioni per creare un account Google Cloud e ottenere l’accesso a una chiave API.

L’API può essere utilizzata gratuitamente; ecco la documentazione di riferimento dell’API.

Guida alle impostazioni del sito

(Admin → Digita ‘perspective’ nel campo di testo Filtro)

L’API è attualmente disponibile solo per la lingua inglese.
Le soglie predefinite sono impostate su valori ragionevolmente alti, ma queste impostazioni offrono una certa personalizzazione per affinare il funzionamento di questo plugin. Prova la demo live nella documentazione ufficiale collegata sopra per capire come si comporteranno le soglie.

  • perspective_enabled:
    Abilita il plugin per filtrare i post potenzialmente tossici.

  • perspective_toxicity_model:
    Scegli il modello di tossicità per l’API Perspective di Google. Leggi di più su come questi modelli sono stati sviluppati leggendo la documentazione di riferimento dell’API.

    • standard
      Classifica i commenti maleducati, irrispettosi o irragionevoli che potrebbero far allontanare le persone da una discussione. È più facile superare la soglia con il modello standard se vengono usati insulti e parolacce in modo amichevole e i post vengono segnalati facilmente. Se scegli una soglia alta di 0,9, il modello standard segnalerà meno post e compirà meno azioni errate.

    • tossicità grave (sperimentale)
      Questo modello utilizza lo stesso algoritmo del modello standard, ma è addestrato a riconoscere esempi considerati “molto tossici”. Questo lo rende molto meno sensibile ai commenti che includono usi positivi di parolacce, ad esempio. I post vengono segnalati solo quando vengono rilevati casi estremi di tossicità e la soglia per questo modello può essere abbassata fino a 0,7 come valore ragionevole.

    Ad esempio, un post contenente "I f*****g love you man" verrebbe segnalato dal modello standard (utilizzando le soglie predefinite) ma non dal modello tossicità grave.

  • perspective_notify_posting_min_toxicity_enable:
    Abilita il controllo dei contenuti potenzialmente tossici mentre un utente sta cercando di inviare un post e invia una notifica nel compositore quando un utente scrive qualcosa di tossico.

    • perspective_notify_posting_min_toxicity:
      Se l’API restituisce un punteggio superiore a questa soglia, notifichiamo e chiediamo all’utente se è sicuro di voler pubblicare contenuti potenzialmente tossici. Il livello di confidenza della tossicità del post è compreso tra 0 e 1 e viene utilizzato per verificare la tossicità mentre un utente sta componendo un post, dove un punteggio di 1 significa estremamente tossico. Un valore superiore a 0,9 dovrebbe segnalare solo post altamente tossici, a seconda del modello utilizzato. Poiché l’utente verrà avvisato prima della pubblicazione, possiamo utilizzare una soglia leggermente più bassa qui, come 0,85, per avvisare gli utenti in anticipo.
  • perspective_flag_post_min_toxicity_enable:
    Segnala i post tossici possibili che sono già stati inviati e invia messaggi per notificare i moderatori sui post inviati. Amministratori e moderatori vengono avvisati dei post segnalati.

    • perspective_flag_post_min_toxicity:
      Se l’API restituisce un punteggio superiore a questa soglia, segnaliamo il post per la revisione da parte di amministratori/moderatori. Il livello di confidenza della tossicità del post è compreso tra 0 e 1 e viene utilizzato per verificare la tossicità dopo che un utente ha pubblicato, dove un punteggio di 1 significa estremamente tossico. Un valore superiore a 0,9 dovrebbe segnalare solo post altamente tossici, variando a seconda del modello utilizzato.
  • perspective_google_api_key:
    Chiave API per la Perspective API ricevuta dopo aver completato il processo di registrazione menzionato sopra.

  • perspective_check_private_message:
    Controlla e segnala i messaggi privati se tossici.
    Nota: Il contenuto del PM verrà inviato ai moderatori/amministratori.
    Si applica anche alla modalità di riempimento retroattivo (backfill).

  • perspective_check_secured_categories:
    Controlla inoltre le categorie private per contenuti tossici abilitando questa impostazione.

  • perspective_backfill_posts:
    Esegui una query sulla tossicità per i post esistenti e registra i risultati nei campi personalizzati dei post.
    Abilitando questa modalità, il controllo online dei post viene disabilitato.

  • perspective_historical_inspection_period:
    Il periodo in giorni per avviare una nuova iterazione della query dopo il completamento dell’ultima iterazione. Utilizzato solo se perspective_backfill_posts è abilitato.

Screenshot

Cosa vede un utente quando cerca di inviare un post tossico:

Cosa vedono gli amministratori/moderatori quando viene inviato un post tossico:

CHANGELOG

TODO


Grazie infinite a @fantasticfears per aver creato questo plugin!

49 Mi Piace

Sembra che l’API sia stata aggiornata e ora supporti più lingue, come il russo. Quando ci sarà un aggiornamento per estendere il supporto nel plugin?

2 Mi Piace

stessa domanda. Può funzionare per la lingua portoghese, dato che è attualmente supportata dall’API?

EDIT: L’ho testato e funziona perfettamente in portoghese.

Mi piace molto.

5 Mi Piace

Qualcosa di nuovo su questa API? Sinceramente vorrei sapere se qualcun altro la sta ancora usando e se ha qualcosa da dire

I nostri clienti utilizzano la funzione “Triage per Persona” sul plugin Discourse AI, che può fare tutto questo ma consente flessibilità per le specificità di ciascuna community.

4 Mi Piace

Gemini Flash 2.0 non è più sufficiente per la mia community, fondamentalmente non ho uno strumento di tossicità tranne questa API, ma va bene, ci penserò più tardi.

Gemini Flash 2.0 è ora diverse versioni indietro, prova a usare la versione corrente di Gemini Flash.

2 Mi Piace

Avviso importante: L’API Perspective verrà dismessa e il servizio terminerà ufficialmente dopo il 2026.

Suppongo che possiamo passare a soluzioni LLM generiche? Proprio come con il filtraggio dello spam? C’è una roadmap a cui posso iscrivermi?

1 Mi Piace

Sì, usa IA + Automazione come detto sopra

4 Mi Piace