Bot AI - Personas

[Discourse]

Questa guida spiega come configurare e gestire le Persona per Discourse AI - Bot AI.

Livello utente richiesto: Amministratore

Il bot AI di Discourse include un sistema flessibile per la gestione delle Persona. Questa guida copre:

• Metodi di interazione per le Persona AI
• Opzioni di configurazione
• Impostazioni avanzate
• Comandi supportati
• Possibilità di personalizzazione

Scopri di più sul bot AI e su come abilitarlo in questa guida.

Cosa sono le persona?

Le Persona sono una potente funzionalità che ti consente di personalizzare il comportamento del motore AI sul tuo forum Discourse. Agiscono come un “messaggio di sistema” che guida le risposte e le interazioni dell’AI, contribuendo a creare un’esperienza utente più personalizzata e coinvolgente.

Perché usare le persona?

Con le persona, puoi adattare il comportamento dell’AI per adattarlo meglio al contesto e al tono del tuo forum. Sia che tu voglia che l’AI sia più formale per un ambiente professionale, più informale per un forum della community, o persino che incarni un personaggio specifico per un gioco di ruolo, le persona ti offrono la flessibilità per farlo.

Accesso alle persona specifico per gruppo

Inoltre, puoi configurare in modo che determinati gruppi di utenti abbiano accesso a persona specifiche. Ciò significa che puoi avere comportamenti AI diversi per diverse sezioni del tuo forum, migliorando ulteriormente la diversità e la ricchezza delle interazioni della tua community.

Interagire con le Persona

Le Persona possono essere utilizzate in diversi modi:

1. Messaggio privato (PM)
2. Messaggio diretto di chat (DM)
3. Menzioni nei canali di chat
4. Menzioni in un argomento pubblico tramite @nome_utente_bot_esempio

Gli amministratori possono controllare quali metodi di interazione sono consentiti per ciascuna persona.

Configurazione

Per configurare le Persona, naviga su discourse.example.com/admin/plugins/discourse-ai/ai-personas.

Le principali opzioni di configurazione includono:

• Prompt di sistema: Guida la conversazione
• Supporto visione: Abilita per LLM basati sulla visione, ad es. GPT-4 Turbo, Claude 3
• Modello predefinito: Richiesto per le persona menzionabili
• Gruppi consentiti: Definisci i permessi utilizzando la sicurezza dei gruppi di Discourse
• Upload: Indicizza file di testo per conoscenze aggiuntive (utilizzando RAG - Retrieval-Augmented Generation)
• Comandi abilitati: Controlla l’accesso a comandi specifici
• Consenti chat: Abilita la chat tramite DM (richiede il plugin chat, un modello linguistico di grandi dimensioni (LLM) predefinito e un utente)

Ecco uno sguardo a una schermata di configurazione completa della persona AI:

Opzioni di configurazione avanzate

L’editor di persona offre diverse opzioni avanzate:

• Temperatura e top_p (campionamento del nucleo): Controlla la creatività rispetto alla prevedibilità
• Post di contesto massimi: Limita il numero di post forniti all’LLM per la cronologia - meno post ridurranno i costi, ma faranno “dimenticare” all’AI i contenuti più vecchi
• Opzioni di upload:
  • Token di chunk: Controlla la suddivisione dei documenti
  • Token di sovrapposizione dei chunk: Imposta la sovrapposizione tra i chunk
  • Chunk di conversazione di ricerca: Numero di frammenti di documento aggiunti alle query dell’utente
  • Consolidatore di domande LLM: Scegli l’LLM per determinare le domande dell’utente

Prerequisiti per il supporto all’upload

Per utilizzare il supporto all’upload:

1. Abilita l’impostazione ai_embeddings_enabled
2. Configura un ai_embeddings_model

Discourse AI supporta vari modelli di embedding. I clienti ospitati hanno accesso gratuito al modello bge-large-en.

Gli self-hoster o coloro che desiderano più scelta possono ospitare autonomamente un modello di embedding o utilizzare modelli di OpenAI, Google (Gemini) e altri.

Suddivisione del testo in Discourse AI

Discourse utilizza un Recursive Character Text Splitter per mantenere insieme paragrafi, righe e parole durante la suddivisione del testo. Puoi controllare la suddivisione del testo utilizzando il separatore [[metadata IL TUO METADATA QUI]]:

[[metadata sui gatti]]
una lunga storia sui gatti
[[metadata sui cani]]
una lunga storia sui cani

Questo metodo impedisce la “contaminazione dei chunk” assicurando che solo i dati pertinenti siano inclusi in ciascun chunk.

Debug delle persona AI

Per eseguire il debug della tua persona:

1. Aggiungi utenti al gruppo specificato nell’impostazione ai bot debugging enabled groups
2. Gli utenti di questo gruppo vedranno un pulsante di debug AI nella parte inferiore dei post AI
3. Fai clic sul pulsante per accedere alla modale dell’interfaccia utente di debug

Ricorda: Se fornisci informazioni vaghe o inutili a un LLM, avrà grandi difficoltà a convertirle in informazioni utili.

Comandi supportati

Discourse AI supporta vari comandi, tra cui:

• Categorie
• Tag
• Ricerca
• Browser Web
• Integrazione GitHub (Ricerca Codice, Diff Pull Request, Contenuto File)
  • Richiede che l’impostazione ai bot github access token sia compilata
• Cerca Meta Discourse
• Selezionatore Casuale
• Leggi
• Ora
• Ricerca Google
  • Richiede che le impostazioni ai google custom search api key e ai google custom search cx siano compilate
• Generazione di immagini tramite DALL-E
  • Richiede una chiave OpenAI
• Generazione di immagini tramite Stable Diffusion
  • Richiede che l’impostazione ai stability api key sia compilata
  • L’impostazione ai stability engine controlla l’algoritmo di generazione delle immagini
• Schema
• Cerca Impostazioni
• Imposta Contesto

Alcuni comandi richiedono configurazioni aggiuntive o chiavi API.

Supporto per strumenti personalizzati

Puoi creare i tuoi strumenti utilizzando il supporto per strumenti personalizzati.

Personalizzazione delle persona di sistema

1. Crea una nuova persona
2. Copia e incolla il prompt di sistema dalla persona che desideri personalizzare
3. Modifica secondo necessità
4. Facoltativamente, disabilita la persona di sistema originale per evitare duplicazioni

Personalizzazione della ricerca

Per personalizzare la ricerca per una nuova persona:

1. Crea una nuova persona
2. Aggiungi il comando “ricerca”
3. Configura le opzioni di ricerca, tra cui:
   • Query di ricerca di base
   • Numero massimo di risultati di ricerca
   • Opzione per includere argomenti privati
     
     

Ciò ti consente di delegare i permessi di ricerca, aumentare il numero di risultati o limitare la ricerca a sezioni specifiche del tuo sito.

[MachineScholar]

@Discourse

Leggi

Cosa fa esattamente lo strumento Leggi?

Inoltre, le menzioni nei post sono attualmente non funzionanti secondo questo bug report.

[sam (Sam Saffron)]

[Untitled AI bot PM]

In sintesi, consente all’LLM la capacità di leggere argomenti e post sul tuo forum.

[Jagster (Jakke Lehtonen)]

In sostanza legge un argomento/post quando viene fornito un URL, un nome o un ID e altrimenti, o comunque, utilizza embed e cosa, quando, perché e come dipende dal modello stesso, dal prompting, ecc.?

[sam (Sam Saffron)]

Oh scusa, stavo rispondendo a un post diverso

Utilizza l’ID dell’argomento o l’ID dell’argomento + il numero del post per trovare il markdown grezzo di un argomento/post con alcune protezioni per la lunghezza massima.

Non dipende dall’embedding.

[Jagster (Jakke Lehtonen)]

Un po’ fuori tema, ma dato che non ho niente da chiedere e voi ragazzi pulirete questi argomenti di tanto in tanto, non mi interessa.

I titoli automatici nei messaggi privati con l’IA sono ora nella lingua corretta. Non è una cosa da poco, ma il suo valore psicologico è grande. Grazie!

[jrgong]

C’è un modo per aggiungere gli utenti Bot a un gruppo? Fondamentalmente voglio aggiungere un’icona avatar a quegli utenti, ma quando li aggiungo a un gruppo, non compaiono

[Jagster (Jakke Lehtonen)]

Non compaiono, ma ci sono ancora. Puoi esserne sicuro provando ad aggiungere una persona AI una seconda volta. Oppure vedi il gruppo necessario nelle impostazioni di questi pseudo utenti.

[MachineScholar]

Quale parte del repository Discourse AI dovrei consultare se volessi sapere con precisione come funzionano gli strumenti del bot AI?

[sam (Sam Saffron)]

Strumento, Playground e Bot sono tutte buone aree con cui iniziare.

Vedi questo esempio: Understanding Tools in Discourse AI System - AI Conversation - Discourse Meta

[MachineScholar]

Precisamente la risposta che stavo cercando — grazie mille! Per chiunque possa interessare: consiglio di leggere il codice in questo repository per poter indirizzare meglio i tuoi prompt per gli strumenti della tua persona.

[jrgong]

Sto attualmente cercando di recuperare tutti i post di un argomento tramite lo strumento “Leggi”, ma fornisce solo un massimo di 100 post al modello LLM. Ho già impostato “Max post” su 999 nelle impostazioni della persona, ma il problema persiste.

Potrebbe esserci una limitazione della richiesta API lato server che causa il problema?

[jrgong]

@sam hai qualche idea su questo, quale potrebbe essere la causa?

[MachineScholar]

Non ho controllato il codice sorgente, ma sospetto che possa essere un limite fisso impostato nel codice stesso. Posso chiedere cosa stai cercando di ottenere con questo? Questo è un fattore chiave qui.

E forse sarebbe meglio usare la persona del Ricercatore del Forum?

[jrgong]

Abbiamo la categoria “journal/log” che spesso contiene diverse centinaia di post in cui il proprietario dell’argomento segnala i progressi del suo progetto nell’arco di 4-5 mesi.

Il mio obiettivo è recuperare tutti i post all’interno di quell’argomento, filtrarli per autore = proprietario dell’argomento e creare un riassunto.

[sam (Sam Saffron)]

Devi usare il ricercatore di forum per questo, è l’esatto caso d’uso per la persona

[jrgong]

@sam

Attualmente, non c’è opzione per inviare immagini all’LLM di ricerca. Questo verrà preso in considerazione nelle versioni future.

@sam Mi piacerebbe, ma attualmente non supporta le immagini. È qualcosa che è in programma o non è una priorità al momento?

[sam (Sam Saffron)]

Certo, posso aggiungerlo, non è un cambiamento troppo grande.