Ho appena finito di configurare discourse-ai, mi chiedo quali siano le capacità RAG dell’IA?
Vedo che può recuperare contenuti dai post, ma devo chiederglielo più volte prima che capisca davvero che le informazioni dovrebbero essere trovate all’interno di un argomento.
Altre funzionalità funzionano bene!
Una persona ha una sezione di caricamento, puoi caricare più file di testo nella tua persona.
Vedi: AI bot - Personas
Dovrai configurare l’embedding affinché ciò funzioni.
1 Mi Piace
Grazie, ho visto quella sezione, è fantastico, ma ho ancora alcune domande.
Contesto: utilizziamo Discourse come knowledge base e forum per rispondere a domande tecniche, abbiamo tutta la nostra documentazione su di esso.
Utilizzeremo la sezione di caricamento della persona per alimentare i dati che non inseriamo direttamente sul forum, come i dati provenienti da documenti sulla nostra azienda.
Ora, per la nostra documentazione tecnica che risiede sul forum, vorremmo poterle fare domande utilizzando un’IA. Per quanto ho capito, la chat di Discourse-AI non è fatta per questo e, come configurato negli strumenti della persona, farà solo una ricerca sul forum, più qualche elaborazione AI?
È qualcosa che è previsto per avere una chatbot che abilita le capacità RAG sul forum stesso, anche sul contenuto degli argomenti?
1 Mi Piace
Questo è tutto supportato al 100% oggi con una miriade di opzioni di implementazione.
- Lo strumento di ricerca può essere limitato a un gruppo di categorie o tag (quando crei una nuova persona e aggiungi lo strumento di ricerca)
- Gli strumenti personalizzati offrono maggiore flessibilità qui, puoi effettuare richieste http allo stesso forum e consumare qualsiasi cosa dal forum in qualsiasi formato desideri… incluse richieste HTTP per la ricerca di embedding… vedi: API access to the embedding(s) for a post - #3 by sam. Quando effettui richieste HTTP in uno strumento personalizzato, puoi specificare intestazioni HTTP in modo da poter utilizzare una chiave API che emetti sul forum.
- Lo strumento di lettura ti consente di leggere argomenti
- Questa PR in corso ti permetterà di cercare i tuoi caricamenti direttamente da uno strumento. (FEATURE: RAG search within tools by SamSaffron · Pull Request #802 · discourse/discourse-ai · GitHub) che è un’altra opzione.
- Puoi controllare la modalità (PM vs Chat) a seconda delle tue preferenze
Puoi vedere un esempio di implementazione su ask.discourse.com (che è stato progettato come bot di supporto per i nostri clienti) - la cosa più importante è che non coinvolge alcun plugin personalizzato, utilizza tutto il plugin Discourse AI integrato.
6 Mi Piace
Disclaimer: Sono un utente de facto e non capisco nemmeno come funzionano davvero le IA. E uso OpenAI.
Ci sono alcuni motivi per cui l’IA non fornisce la risposta desiderata.
- Il prompting detta dove e come può cercare. Una parola sbagliata e farà quello che vuole
- L’IA non è come Google con steroidi e abilità di spiegare le cose, anche se in qualche modo lo è. Può trovare i risultati giusti, e intendo dire altrettanto male, come Google. E non legge e analizza tutto, ma solo… pensa così.
- RAG e embeddings funzionano, ma richiedono un prompting estremamente preciso. Ma quelli danno solo una direzione, molto spesso non una base solida su cui costruire una risposta. Solo gli embeddings richiedono molto lavoro manuale e molto spesso gli argomenti, di nuovo di per sé, non sono sufficienti. Un argomento o un post (ancora peggio) possono essere accurati e logici, ma nella vita reale? No. Ecco perché ask.discourse.com fallisce abbastanza spesso, se non viene posta una domanda molto limitata e mirata. Come permetto solo domini email specifici nelle registrazioni? Boom, hai la risposta. Come ricevo notifiche quando una casella PM di gruppo ha nuovi messaggi? Molta allucinazione e riferimenti errati.
L’idea più preoccupante secondo OpenAI è che le risposte errate siano accettabili. È una questione di quantità e specificamente di quanto costeranno a un’azienda quelle risposte allucinate e fattualmente errate.
Molto vero per le aziende, ma davvero brutto per quell’unico utente.
Le IA possono essere molto accurate. Tutto ciò che serve è molta manodopera per codificare e prendersene cura, e così tanta potenza di calcolo che estrarre bitcoin è un hobby economico.
Il mio punto debole è che semplicemente inserire manuali negli argomenti non è sufficiente.
Questa è un’intuizione molto importante: non si finisce mai veramente con questi tipi di sistemi.
Finisci per ripetere il processo di
- L’utente chiede all’IA e ottiene una risposta errata
- Noi rivediamo
- Correggiamo la documentazione, accettiamo una risposta corretta ed eliminiamo le “landmine” di ricerca
- Facciamo la stessa domanda e otteniamo una risposta corretta
Questi non sono il tipo di sistemi che puoi distribuire e dimenticare; hanno bisogno di un costante affinamento.
Nota che ci aiuta moltissimo se metti un pollice in giù a qualsiasi risposta errata.
3 Mi Piace
È verissimo. E c’è una possibilità davvero enorme che il mio prompting sia davvero pessimo.
Ma… gli utenti finali usano quei bot e non sono bravi a scrivere domande di alta qualità, guidando l’IA nella giusta direzione per ottenere ciò di cui hanno bisogno. E poi la conoscenza che ho acquisito oggi, sebbene falsa, porterà a una migliore qualità a un certo punto, non aiuta troppo.
Non so qual è il mio punto, tranne che costruire/addestrare/ottimizzare un’IA che abbia un tasso di successo superiore all’80% richiede più lavoro e contenuti curati rispetto alla semplice pubblicazione di argomenti. E quel lavoro costa denaro (quindi spero che la tua attività crescerà, perché adoro la correzione di bozze, anche se quella funzionalità è enormemente fuori tema ora).
1 Mi Piace
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.