Sto configurando Discourse AI sul mio forum e ho un Bot/Agente AI che funziona con Gemini 2.5 Flash tramite LiteLLM e Google Vertex AI.
Il bot funziona, ma ho un problema relativo al suo ambito di applicazione.
Ad esempio, il mio forum è una community focalizzata sul business. Se chiedo al bot:
“A chi appartiene Uber?”
risponde alla domanda utilizzando la conoscenza generale dell’LLM, anche se la domanda non ha nulla a che fare con il mio forum.
Questo crea due problemi:
Voglio che il bot funzioni come un assistente di conoscenza specifico per il forum, non come un’interfaccia generica per Gemini/ChatGPT.
Non voglio che gli utenti possano fare domande arbitrarie e consumare i miei crediti LLM.
Idealmente, vorrei:
L’utente fa una domanda
↓
È pertinente a questo forum?
↓
NO → rifiuto educatamente
↓
SÌ
↓
Cerca nella conoscenza del forum
↓
Genera la risposta basandosi sui contenuti del forum
Hai dato un’occhiata agli Agenti? Forse gli Agenti per la Ricerca sul Forum o gli Agenti di Assistenza del Forum sarebbero più adatti, poiché sono ottimizzati per lavorare specificamente con il forum. O è quello che stai già usando?
Mmm… forse vorresti creare il tuo agente con un prompt di sistema personalizzato, in modo che non risponda a richieste al di fuori dell’ambito del tuo forum.
Grazie per la domanda! Dato che hai posto la domanda su un canale di supporto di Discourse, risponderò nel contesto di come i modelli linguistici alimentano le funzionalità AI di Discourse — ma fammi sapere se intendevi invece una spiegazione tecnica generale di come funzionano i LLM, e posso indicarti altrove per quello.
Qualcuno qui deve sapere come è stato fatto quel controllo.
L’agente “Creative” che hai utilizzato nel test è il nostro agente “senza prompt di sistema”, che inoltra semplicemente la richiesta al LLM sottostante.
Dovrai creare un nuovo agente, con un prompt di sistema che specifichi come e quando rispondere sul tuo forum.
Sebbene i prompt possano influenzare il comportamento di un agente, non sono sempre affidabili. Sono riuscito a ingannare l’agente su ask.discourse.com facendogli rispondere a alcune domande fuori tema.
Esatto, dopo che una conversazione diventa profonda e la concateniamo, possiamo farla continuare. Non è un problema per noi, poiché ospitiamo i modelli in autonomia, quindi non paghiamo per token. Analizziamo anche tutte le conversazioni su Ask ogni giorno e possiamo bloccare eventuali utenti malintenzionati. Il flusso di moderazione del forum rimane invariato.
Se desideri un controllo ancora maggiore rispetto a quello offerto dal prompt di sistema, puoi provare alcuni approcci:
Flussi di lavoro
Il nostro nuovo plugin per i flussi di lavoro ti permetterebbe di elaborare ogni messaggio in due passaggi: prima con un agente che valuta se un messaggio dovrebbe ricevere una risposta, poi con un altro che risponde in modo condizionale.
Modelli affinati
Il metodo più sicuro per esercitare il controllo è distribuire un modello addestrato specificamente con il comportamento desiderato.
Con Discourse AI è facile, poiché ti consente di scegliere i modelli linguistici di grandi dimensioni (LLM) per ogni agente.
