Configurare il rilevamento dello spam nella tua comunità

:bookmark: Questa è una guida su #come configurare il rilevamento dello spam nella tua community utilizzando il triage AI di Discourse AI.

:person_raising_hand: Livello utente richiesto: Amministratore

:warning: Discourse AI ora include uno scanner antispam efficiente che richiede una configurazione minima. Per casi d’uso personalizzati o complessi, si consiglia di seguire questa guida.

Panoramica

Il rilevamento dello spam è una funzionalità essenziale per mantenere la qualità delle discussioni nella tua community. Questa guida ti aiuterà a configurare il rilevamento dello spam utilizzando Discourse AI - AI triage.

Prerequisiti

Per configurare il rilevamento dello spam, sono necessari i seguenti elementi:

  • Discourse AI
  • Discourse Automation
  • Persona con un prompt di sistema che definisce cosa costituisce contenuto spam.
  • LLM (Large Language Model)
    • I clienti con hosting Discourse possono selezionare il nostro LLM Small ospitato da CDCK durante la configurazione delle Personas.
    • Gli utenti Discourse self-hosted dovranno configurare un LLM di terze parti.

:warning: Durante la stesura del prompt, scegliendo tra spam e non spam, evita di usare un linguaggio simile per il risultato finale. In questo esempio usiamo spam e ham (per non spam).

Il classificatore non sarà sempre perfetto al 100%, quindi fai attenzione ai risultati errati e personalizza i prompt in base alle esigenze della tua community. Più è ristretto il focus, meglio è.

Prompt LLM copiabili per il rilevamento di contenuti spam AI

Sei un modello di intelligenza artificiale per il rilevamento dello spam che assiste i moderatori di community online. Il tuo compito è analizzare i post del forum e determinare se sono spam e devono essere rimossi per mantenere una community di alta qualità e pertinente all’argomento.

Un post dovrebbe essere classificato come spam se soddisfa uno qualsiasi di questi criteri:

  • Il post non è pertinente all’argomento principale o allo scopo del forum. È completamente fuori tema.
  • Contiene link esterni sospetti e irrilevanti, specialmente se rimandano a siti commerciali.
  • Il post promuove o pubblicizza chiaramente un prodotto, un servizio, un sito web o un account di social media non correlato alla community.
  • Contiene link di affiliazione o codici di riferimento che tentano di monetizzare i clic.
  • La qualità della scrittura è molto scarsa: molti errori di ortografia/grammatica, manca la punteggiatura o sembra testo generato automaticamente.
  • Contenuti identici o quasi identici vengono pubblicati ripetutamente dallo stesso autore o su più account in un breve lasso di tempo.

Un post dovrebbe essere classificato come ham (legittimo) se:

  • Il post è pertinente all’argomento e allo scopo del forum.
  • È una domanda genuina, una storia personale, un’opinione sostanziale o un altro contributo legittimo alla discussione della community.
  • Eventuali link esterni sono pertinenti e rimandano a siti affidabili e non commerciali.
  • La scrittura sembra essere umana e soddisfa gli standard di qualità per grammatica, ortografia, ecc.

Alcuni casi limite a cui prestare attenzione:

  • Un post che menziona un prodotto o servizio ma è comunque una domanda o discussione pertinente e pertinente all’argomento dovrebbe essere considerato ham, non spam.
  • Citazioni, esempi di codice o testo formattato che sembrano insoliti non sono necessariamente spam.

Una volta terminata l’analisi del post, devi fornire SOLO una classificazione di “spam” o “ham”. Se sei insicuro, scegli “ham” per evitare falsi positivi.

Queste istruzioni devono essere seguite a tutti i costi.

Configurazione

:information_source: Non tutti i passaggi sono obbligatori poiché le regole di automazione possono essere personalizzate secondo necessità. Per un riepilogo di tutte le impostazioni disponibili, visita Discourse AI - AI triage.

  1. Abilita il plugin Discourse AI e Automation:

    • Naviga nel pannello di amministrazione del tuo sito.
    • Vai su Plugin, quindi Plugin installati.
    • Abilita i plugin Discourse AI e Automation.
  2. Crea una Nuova Regola di Automazione:

    • Naviga nel pannello di amministrazione del tuo sito.
    • Vai su Plugin e fai clic su Automation.
    • Fai clic sul pulsante + Crea per iniziare a creare una nuova regola di Automazione.
    • Fai clic su Triage Posts Using AI.
    • Imposta il nome (ad esempio, “Triage Posts using AI”).
    • Lascia Triage Posts Using AI come script selezionato.

Cosa/Quando

  1. Imposta il Trigger:

    • Scegli Post created/edited come trigger.
    • Opzionalmente, specifica il tipo di Azione, Categoria, Tag, Gruppi e/o Livelli di fiducia se desideri limitare questa Automazione a scenari specifici. Lasciare vuoti questi campi consentirà all’Automazione di operare senza restrizioni.
    • Configura le eventuali impostazioni opzionali rimanenti nella sezione What/When per limitare ulteriormente l’automazione.

Opzioni Script

:spiral_notepad: Il campo del prompt di sistema è stato deprecato a favore delle Personas. Se avevi un’automazione AI prima di questa modifica, verrà creata automaticamente una nuova Persona con il prompt di sistema associato.

  1. Persona:

    Seleziona la Persona definita per l’automazione del rilevamento dello spam.

  2. Cerca Testo:

    Inserisci l’output del tuo prompt che attiverà l’automazione, solo il risultato “positivo”. Usando il nostro esempio sopra, inseriremmo spam.

  1. Imposta Categoria e Tag:

    Definisci la categoria in cui questi post dovrebbero essere spostati e i tag da aggiungere se il post viene contrassegnato come spam.

  2. Segnalazione:

    • Segnala il post come spam o da revisionare.
    • Seleziona un tipo di flag per determinare quale azione potresti voler intraprendere.
  3. Opzioni Aggiuntive:

    • Abilita l’opzione “Hide Topic” se desideri che il post venga nascosto.
    • Imposta una “Reply” che verrà pubblicata nell’argomento quando il post viene considerato spam.

Note Aggiuntive

  • Quando si utilizza l’Automazione per combattere lo spam, si consiglia di disabilitare il plugin Akismet se è già abilitato. Questo per garantire che un solo sistema combatta lo spam per ottenere i migliori risultati.
  • Tieni presente che le chiamate LLM possono essere costose. Quando applichi un classificatore, fai attenzione a monitorare i costi e considera sempre di eseguirlo solo su piccoli sottoinsiemi.
  • Modelli con prestazioni migliori, ad esempio Claude-3-Opus, daranno risultati migliori, ma potrebbero comportare costi maggiori.
  • Il prompt potrebbe essere personalizzato per eseguire tutti i tipi di rilevamento, come esposizione di PII, violazioni del Codice di Condotta, ecc.
11 Mi Piace

5 post sono stati spostati in un nuovo argomento: Esplorare i limiti dell’IA nel riconoscere contenuti generati dall’IA

Curioso di sapere com’è stata l’esperienza degli utenti con questo metodo?

1 Mi Piace

Ho iniziato a testarlo proprio ora e ha già fatto un buon lavoro (per ora, ho scelto di applicare solo un tag nascosto per convalidare che le cose funzionino correttamente, anziché inviare subito le cose in coda di revisione).

Ma ho un piccolo chiarimento/approfondimento: sarebbe possibile per l’integrazione accedere a query personalizzate con output, come un gruppo di post di esempio, da utilizzare come dati di contesto?

Più concretamente, vorrei alimentarlo con tutti i precedenti post di spam basati sui flag concordati che hanno comportato l’eliminazione del post.

1 Mi Piace

Al momento supportiamo solo un singolo messaggio di sistema.

Penso però che potremmo fare un seguito in cui puoi fornire N esempi di cose da non segnalare e N esempi di cose da segnalare. Questo potrebbe potenzialmente aumentare l’accuratezza.

Forse potremmo dedicare un argomento specifico a questo?

1 Mi Piace

Proverò prima a raccogliere altri pensieri in merito. Farlo funzionare per l’ultima settimana ha avuto un discreto successo, ma sto ancora riscontrando alcuni piccoli fastidi, come l’impossibilità di escludere rapidamente i messaggi privati (ad esempio, spesso pensa che le interazioni del tutorial di Discobot siano sospette; ho modificato il prompt per non considerare quelle, ma i log dell’IA indicano che il rilevamento non conosce il contesto e considera solo il contenuto del post stesso).

2 Mi Piace

Questo non sembra del tutto corretto… Non sono sicuro di quale fosse l’istruzione intesa qui? Forse “Abilita AI e abilita Automazione”?

1 Mi Piace

Ho apportato la modifica qui

2 Mi Piace

Sono curioso, c’è un modo per spostare le risposte in un nuovo argomento, invece che l’intero argomento? Potrebbe essere un argomento legittimo ma uno spammer entra e pubblica una risposta di spam. Da quello che posso vedere, sta spostando l’intero argomento, non quella specifica risposta.
Già che ci sono, qual è la differenza tra questo e il rilevatore di spam di Discourse AI?

Potresti spiegare meglio con un esempio?

A scopo informativo: dovresti essere in grado di selezionare l’opzione Segnala post che dovrebbe segnalare solo il post “spam”.

1 Mi Piace

Certo. Ad esempio, supponiamo che, su un forum di supporto, uno spammer pubblichi una risposta spam in un argomento esistente sui problemi che sta riscontrando. L’OP e le persone che rispondono non sono lo stesso utente dello spammer. Se ho capito bene, AI Triage nasconderà l’intero argomento e segnalerà il post. Invece, il post spam potrebbe essere spostato in un argomento specifico, in una categoria disponibile per gli amministratori?

Mi stavo chiedendo questo mentre leggevo questo post.

Sì, lo sto facendo attualmente per il rilevatore di discorsi d’odio utilizzando AI Triage.

Lol, come ho potuto perdermelo :laughing:

1 Mi Piace

AI Spam nasconderà semplicemente il post, probabilmente possiamo aggiungere anche questa opzione al triage.

2 Mi Piace