Impostare il rilevamento spam nella tua community

:bookmark: Questa è una guida su come configurare il rilevamento dello spam nella tua community utilizzando Discourse AI - AI triage.

:person_raising_hand: Livello utente richiesto: Amministratore

:warning: Discourse AI ora include uno scanner antispam efficiente che richiede una configurazione minima. Per casi d’uso personalizzati o complessi, si consiglia di seguire questa guida

Panoramica

Il rilevamento dello spam è una funzionalità essenziale per mantenere la qualità delle discussioni nella tua community. Questa guida ti aiuterà a configurare il rilevamento dello spam utilizzando Discourse AI - AI triage.

Prerequisiti

Per configurare il rilevamento dello spam, sono necessari i seguenti elementi:

  • Discourse AI
  • Discourse Automation
  • AI Agent con un prompt di sistema che definisce cosa costituisce contenuto spam.
  • LLM (Large Language Model)
    • I clienti con hosting su Discourse possono selezionare un LLM ospitato durante la configurazione degli Agenti AI.
    • Gli utenti di Discourse self-hosted dovranno configurare un LLM di terze parti.

:warning: Durante la stesura del prompt, quando si sceglie tra spam e non spam, evitare di usare un linguaggio simile per il risultato finale. In questo esempio usiamo spam e ham (per non spam)

Il classificatore non avrà sempre una performance perfetta al 100%, quindi fai attenzione ai risultati errati e personalizza i prompt in base alle esigenze della tua community. Più stretto è il focus, meglio è.

Copia i prompt LLM per il rilevamento di contenuti spam AI Sei un modello di rilevamento spam che assiste i moderatori della community online. Il tuo compito è analizzare i post del forum e determinare se sono spam che dovrebbe essere rimosso per mantenere una community di alta qualità e pertinente all'argomento.

Un post deve essere classificato come spam se soddisfa uno qualsiasi dei seguenti criteri:

  • Il post non è pertinente all’argomento principale o allo scopo del forum. È completamente fuori tema.
  • Contiene link esterni sospetti e irrilevanti, specialmente se puntano a siti commerciali.
  • Il post sta chiaramente promuovendo o pubblicizzando un prodotto, un servizio, un sito web o un account sui social media non correlato alla community.
  • Contiene link di affiliazione o codici di riferimento che tentano di monetizzare i clic.
  • La qualità della scrittura è molto scarsa: molti errori di ortografia/grammatica, mancanza di punteggiatura o testo che sembra generato automaticamente.
  • Contenuti identici o quasi identici vengono pubblicati ripetutamente dallo stesso autore o tramite più account in un breve lasso di tempo.

Un post deve essere classificato come ham (legittimo) se:

  • Il post è pertinente e rilevante per lo scopo del forum
  • È una domanda genuina, una storia personale, un’opinione sostanziale o un contributo altrimenti legittimo alla discussione della community
  • Tutti i link esterni sono pertinenti e puntano a siti affidabili e non commerciali
  • La scrittura sembra essere umana e soddisfa gli standard di qualità per grammatica, ortografia, ecc.

Alcuni casi limite a cui prestare attenzione:

  • Un post che menziona un prodotto o servizio ma è comunque una domanda o una discussione pertinente e pertinente all’argomento deve essere considerato ham, non spam.
  • Citazioni, esempi di codice o testo formattato che appaiono insoliti non sono necessariamente spam.

Una volta terminata l’analisi del post, devi fornire SOLO una classificazione di “spam” o “ham”. Se non sei sicuro, scegli “ham” per evitare falsi positivi.

Queste istruzioni devono essere seguite a tutti i costi

Configurazione

:information_source: Non tutti i passaggi sono obbligatori poiché le regole di automazione possono essere personalizzate secondo necessità. Per una panoramica di tutte le impostazioni disponibili, visita Discourse AI - AI triage.

  1. Abilita i plugin Discourse AI e Automation:
  • Vai al pannello di amministrazione del tuo sito.
  • Vai su Plugin, quindi Plugin installati
  • Abilita i plugin Discourse AI e Automation
  1. Crea una nuova regola di automazione:
  • Vai al pannello di amministrazione del tuo sito.
  • Vai su Plugin e fai clic su Automation
  • Fai clic sul pulsante + Crea per iniziare a creare una nuova regola di automazione
  • Fai clic su Triage Posts Using AI (Archivia messaggi usando l’IA)
  • Imposta il nome (ad esempio, “Triage Posts using AI”)
  • Lascia Triage Posts Using AI come script selezionato

Cosa/Quando

  1. Imposta l’attivatore (Trigger):
  • Scegli Post created/edited (Messaggio creato/modificato) o Stalled topic (Argomento bloccato) come attivatore.
  • Facoltativamente, specifica il tipo di Azione, Categoria, Tag, Gruppi e/o Livelli di Fiducia se desideri limitare questa automazione a scenari specifici. Lasciare questi campi vuoti consentirà all’automazione di funzionare senza restrizioni.
  • Configura le impostazioni opzionali rimanenti nella sezione Cosa/Quando per limitare ulteriormente l’automazione.

Opzioni Script

:spiral_notepad: Il campo del prompt di sistema è stato deprecato a favore degli Agenti AI. Se avevi un’automazione AI prima di questa modifica, verrà creato automaticamente un nuovo Agente AI con il prompt di sistema associato.

  1. Agente:

Seleziona l’Agente AI definito per l’automazione di rilevamento dello spam. L’agente deve avere un LLM predefinito configurato.

  1. Cerca testo:

Inserisci l’output del tuo prompt che attiverà l’automazione, solo il risultato “positivo”. Usando il nostro esempio sopra, inseriremmo spam.

  1. Imposta Categoria e Tag:

Definisci la categoria in cui questi post devono essere spostati e i tag da aggiungere se il post è contrassegnato come spam.

  1. Segnalazione (Flagging):
  • Abilita l’opzione “Flag post” (Segnala messaggio) per segnalare i messaggi corrispondenti.
  • Seleziona un tipo di segnalazione per determinare quale azione intraprendere:
    • Add post to review queue (Aggiungi messaggio alla coda di revisione) — invia il messaggio alla coda di revisione per l’azione del moderatore.
    • Add post to review queue and hide post (Aggiungi messaggio alla coda di revisione e nascondi messaggio) — invia alla revisione e nasconde il messaggio.
    • Add post to review queue and delete post (Aggiungi messaggio alla coda di revisione e elimina messaggio) — invia alla revisione ed elimina in modo soft il messaggio.
    • Add post to review queue, delete post and silence user (Aggiungi messaggio alla coda di revisione, elimina messaggio e silenzia utente) — invia alla revisione, elimina in modo soft e silenzia l’autore.
    • Flag as spam and hide post (Segnala come spam e nascondi messaggio) — segnala come spam e nasconde.
    • Flag as spam, hide post and silence user (Segnala come spam, nascondi messaggio e silenzia utente) — segnala come spam, nasconde e silenzia l’autore.
  1. Opzioni aggiuntive:
  • Abilita l’opzione “Hide Topic” (Nascondi argomento) se desideri che l’argomento del messaggio venga nascosto.
  • Imposta una “Reply” (Risposta) che verrà pubblicata nell’argomento quando il messaggio viene contrassegnato come spam.
  • Utilizza l’opzione “Reply Agent” (Agente di risposta) per far sì che un Agente AI diverso componga una risposta dinamica invece di una risposta predefinita.
  • Abilita “Reply as Whisper” (Rispondi come sussurro) per rendere le risposte visibili solo allo staff.
  • Abilita “Include personal messages” (Includi messaggi personali) per sottoporre a scansione e triage anche i messaggi personali.
  • Abilita “Notify author via PM” (Notifica autore tramite MP) per inviare un messaggio personale all’autore del messaggio quando il suo contenuto viene segnalato. Puoi configurare il mittente del MP e il contenuto personalizzato del messaggio.

Note aggiuntive

  • Quando si utilizza l’Automazione per combattere lo spam, si consiglia di disabilitare il plugin Akismet se è già abilitato. Questo per garantire che solo un sistema combatta lo spam per ottenere i migliori risultati.
  • Tieni presente che le chiamate LLM possono essere costose. Quando applichi un classificatore, fai attenzione a monitorare i costi e considera sempre di eseguirlo solo su piccoli sottoinsiemi
  • Sebbene i modelli con prestazioni migliori forniscano risultati migliori, potrebbero comportare costi più elevati
  • Il prompt potrebbe essere personalizzato per eseguire tutti i tipi di rilevamento, come esposizione di PII (Informazioni di identificazione personale), violazioni del Codice di Condotta, ecc.
11 Mi Piace

5 post sono stati spostati in un nuovo argomento: Esplorare i limiti dell’IA nel riconoscere contenuti generati dall’IA

Curioso di sapere com’è stata l’esperienza degli utenti con questo metodo?

1 Mi Piace

Ho iniziato a testarlo proprio ora e ha già fatto un buon lavoro (per ora, ho scelto di applicare solo un tag nascosto per convalidare che le cose funzionino correttamente, anziché inviare subito le cose in coda di revisione).

Ma ho un piccolo chiarimento/approfondimento: sarebbe possibile per l’integrazione accedere a query personalizzate con output, come un gruppo di post di esempio, da utilizzare come dati di contesto?

Più concretamente, vorrei alimentarlo con tutti i precedenti post di spam basati sui flag concordati che hanno comportato l’eliminazione del post.

1 Mi Piace

Al momento supportiamo solo un singolo messaggio di sistema.

Penso però che potremmo fare un seguito in cui puoi fornire N esempi di cose da non segnalare e N esempi di cose da segnalare. Questo potrebbe potenzialmente aumentare l’accuratezza.

Forse potremmo dedicare un argomento specifico a questo?

1 Mi Piace

Proverò prima a raccogliere altri pensieri in merito. Farlo funzionare per l’ultima settimana ha avuto un discreto successo, ma sto ancora riscontrando alcuni piccoli fastidi, come l’impossibilità di escludere rapidamente i messaggi privati (ad esempio, spesso pensa che le interazioni del tutorial di Discobot siano sospette; ho modificato il prompt per non considerare quelle, ma i log dell’IA indicano che il rilevamento non conosce il contesto e considera solo il contenuto del post stesso).

2 Mi Piace

Questo non sembra del tutto corretto… Non sono sicuro di quale fosse l’istruzione intesa qui? Forse “Abilita AI e abilita Automazione”?

1 Mi Piace

Ho apportato la modifica qui

2 Mi Piace

Sono curioso, c’è un modo per spostare le risposte in un nuovo argomento, invece che l’intero argomento? Potrebbe essere un argomento legittimo ma uno spammer entra e pubblica una risposta di spam. Da quello che posso vedere, sta spostando l’intero argomento, non quella specifica risposta.
Già che ci sono, qual è la differenza tra questo e il rilevatore di spam di Discourse AI?

Potresti spiegare meglio con un esempio?

A scopo informativo: dovresti essere in grado di selezionare l’opzione Segnala post che dovrebbe segnalare solo il post “spam”.

1 Mi Piace

Certo. Ad esempio, supponiamo che, su un forum di supporto, uno spammer pubblichi una risposta spam in un argomento esistente sui problemi che sta riscontrando. L’OP e le persone che rispondono non sono lo stesso utente dello spammer. Se ho capito bene, AI Triage nasconderà l’intero argomento e segnalerà il post. Invece, il post spam potrebbe essere spostato in un argomento specifico, in una categoria disponibile per gli amministratori?

Mi stavo chiedendo questo mentre leggevo questo post.

Sì, lo sto facendo attualmente per il rilevatore di discorsi d’odio utilizzando AI Triage.

Lol, come ho potuto perdermelo :laughing:

1 Mi Piace

AI Spam nasconderà semplicemente il post, probabilmente possiamo aggiungere anche questa opzione al triage.

2 Mi Piace