Una errata convinzione che molti di noi hanno sull’IA è che le nostre aspettative siano:
graph TD
Question -->|"Expensive AI Magic"| Answer
Answer["The perfect answer"]
Può essere estremamente frustrante spendere un sacco di soldi per un modello di punta e ottenere comunque risultati scadenti.
In questo argomento vorrei dedicare del tempo ad aggiustare le aspettative e indicare varie funzionalità che Discourse AI offre per ottenere risposte migliori.
Come funziona realmente Discourse AI
La realtà è più sfumata. Quando fai una domanda, ecco cosa succede:
graph TD
Question --> Consolidation[Question Consolidation]
Consolidation --> RAG[RAG System]
RAG --> ToolSelection[Tool Selection]
ToolSelection --> Search[Search]
ToolSelection --> Categories[Categories]
ToolSelection --> Tags[Tags]
Search --> Context[Gather Context]
Categories --> Context
Tags --> Context
Context --> Answer[Generate Answer]
- La tua domanda viene prima consolidata e compresa
- Il nostro sistema RAG cerca nella conoscenza disponibile (opzionale)
- In base a ciò che trova, decide quali strumenti utilizzare (opzionale)
- Gli strumenti raccolgono informazioni specifiche
- Tutto viene combinato per generare una risposta
Il contesto è tutto
Quando si utilizzano sistemi di IA per rispondere a domande, il contesto è fondamentale.
I modelli linguistici di grandi dimensioni (LLM) come GPT-4 o Claude 3.5 Sonnet sono addestrati su un’enorme quantità di dati pubblici. Tuttavia, ci sono due avvertenze che li rendono meno ideali nel rispondere a domande specifiche di un dominio:
- Gli LLM sono addestrati su dati pubblici
- Gli LLM hanno una data di addestramento limite, il che significa che i dati pubblici più recenti di pochi mesi sono probabilmente assenti dal set di dati
Nel caso di un forum chiuso, nulla sarà presente nel set di dati, rendendo il contesto ancora più fondamentale.
Il contesto sono le informazioni che forniamo a un LLM prima che risponda a una domanda per aiutarlo a rispondere correttamente.
Come si ottiene il contesto?
Il contesto può essere fornito in alcuni modi:
- Automaticamente utilizzando RAG (Retrieval-Augmented Generation) - Quando carichi documenti per una persona, possiamo cercare nel documento le risposte prima di rispondere. Prima consolidiamo la tua domanda e poi cerchiamo il contenuto utilizzando la ricerca semantica. Questo aiuta a guidare quali strumenti utilizzare.
- Automaticamente utilizzando strumenti - Gli LLM possono utilizzare strumenti (come la ricerca o la lettura di argomenti) per trovare informazioni aggiuntive basate sulla guida RAG.
- Manualmente - puoi incollare una grande quantità di testo e poi porre domande a un LLM su di esso.
Contesto basato sugli strumenti
Il Discourse Forum Helper utilizza strumenti per la ricerca, la lettura di argomenti e post, l’elenco di categorie o tag.
Quando fai una domanda al Forum Helper, il modello utilizza prima RAG per capire cosa potrebbe essere rilevante, quindi decide quali strumenti aiuteranno a ottenere risposte migliori.
In questo esempio puoi vedere che ho chiesto al forum helper cosa stavo facendo, esso a sua volta ha deciso di cercare contenuti di Sam pubblicati nell’ultima settimana e ha ottenuto 21 risultati.
Per capire quale nuovo contesto il modello ha ottenuto da questa ricerca, puoi abilitare l’impostazione: AI bot debugging allowed groups
Aggiungerà un pulsante di debug in fondo a ogni post, quando ci clicchi sopra puoi vedere l’esatto contesto che è stato fornito all’LLM.
Lo strumento di ricerca di Discourse è molto ricco di opzioni:
Questo è sia una benedizione che una maledizione. Gli LLM spesso fanno scelte sub-ottimali se ci sono troppe opzioni sul tavolo, abbiamo cercato di mantenere il numero di opzioni non… troppo alto… ma a seconda delle tue esigenze potresti preferire utilizzare uno strumento personalizzato per la ricerca.
Cosa faccio se non ottengo i risultati attesi?
Dato che il contesto è tutto, la prima cosa da confermare è:
- Il sistema RAG ha trovato contenuti pertinenti per guidare gli strumenti?
- L’LLM ha utilizzato gli strumenti giusti in base a quella guida?
- Gli strumenti hanno trovato i risultati attesi?
Ad esempio, prendi questo fallimento:
Questo è un classico fallimento sia della guida RAG che dell’uso degli strumenti.
L’LLM ha cercato:
bug critical urgent broken order:latest status:open status:public
La componente keyword di questa ricerca è piuttosto scarsa, producendo un singolo risultato, la ricerca semantica ha quindi molta difficoltà a trovare i risultati perché ogni volta che qualcuno urla forte la tratta come urgente.
Ciò che probabilmente produrrebbe un risultato migliore è:
Trova tutti i bug aperti ordinati per op_likes che sono stati segnalati nelle ultime 2 settimane. Tuttavia, questo particolare sottoinsieme di informazioni non è disponibile per la funzione di ricerca così com’è, richiederebbe uno strumento personalizzato.
Data la grande varianza e sfumatura qui, la prima cosa da fare è monitorare le interazioni esistenti degli utenti con i tuoi bot e raccogliere quanti più fallimenti possibile.
Cosa faccio con i casi falliti?
Quando hai un’interazione fallita, hai alcune opzioni:
- Puoi migliorare il prompt di sistema per suggerire meglio al bot
- Puoi documentare le informazioni sul forum per dare al bot migliori risultati di ricerca - puoi dare priorità alla tua categoria di documentazione in modo che sia più probabile che la trovi
- Puoi caricare un documento con più contesto, divideremo il documento in frammenti e forniremo i frammenti più vicini alla domanda consolidata per aiutare a radicare il bot.
- Se la tua persona è prevalentemente incentrata sulla ricerca, forza l’uso dello strumento di ricerca.
- Puoi sviluppare strumenti personalizzati per soddisfare meglio le tue esigenze
- Puoi aumentare la quantità di contesto che fornisci all’LLM (più risultati di ricerca, ecc.)
L’IA può essere sfumata, risolvere un problema può crearne un altro
Tieni presente che ottenere il bot di risposta alle domande “perfetto” è un viaggio. Creare cicli di feedback monitorati e valutare regolarmente quanto bene funziona ti permetterà di migliorarlo nel tempo.
Sii consapevole di come è costruita la tecnologia, se hai bisogno di accedere al contesto di 10.000 post per rispondere a una domanda, potrebbe essere irrealizzabile fornire l’elenco completo dei post nel contesto per rispondere con le attuali finestre di contesto.
La chiave è capire che ottenere risultati migliori è un processo iterativo.