Sto giocando con il bot ed è già fantastico. Posso aggiungere una voce per abilitare la ricerca semantica? Nei miei esperimenti finora questo renderebbe il bot molto più intelligente, almeno sul nostro sito. Se confronto i risultati che trova e riassume o a cui risponde, questi sono molto peggiori di quelli che userebbe se stesse facendo una ricerca semantica.
In modo correlato, è possibile abilitare la ricerca semantica come predefinita quando si utilizza /? Di nuovo, penso che la maggior parte dei nostri utenti preferirebbe i risultati. Abbiamo molti post di tipo knowledgebase che non sempre utilizzano le parole chiave che le persone direbbero/cercherebbero effettivamente, ma che sono semanticamente correlate. Ciò significa che una ricerca tradizionale tende a far emergere post di qualità inferiore con persone che discutono questioni in modo informale, e non sono la risposta canonica alla domanda che hanno.
Anch’io penso che l’AI Bot sia di grande beneficio per i siti, ma le mie idee di prompt/domande non sono necessariamente quelle degli altri e quindi cerco altri prompt/domande per possibili scopi dimostrativi.
A dire il vero, anche se utilizzassi la ricerca semantica attuale come parte del flusso di lavoro del bot, sarebbe fantastico. Funziona bene ora, ma semplicemente non ha il giusto contesto informativo, anche quando la ricerca semantica attuale li troverebbe.
Sarebbe fantastico avere il controllo sui prompt, ma capisco che anche l’interfaccia utente è difficile in questo caso, perché sarebbe facile rompere le cose con il prompt sbagliato. Penso che aggiungere il concetto di una persona per il bot, che viene inserita come prompt di sistema, potrebbe essere un buon inizio lì.
Assolutamente, questo è qualcosa che voglio davvero, infatti voglio che gli amministratori del forum possano creare personaggi personalizzati con set di comandi personalizzati.
Ritengo che la modifica dei prompt possa essere molto utile per noi, anche se, avendo recentemente fatto un po’ di “prompt engineering” amatoriale per un altro progetto, penso che richiederà un po’ di assistenza e molti esempi per chi non ha familiarità, e l’interfaccia utente beneficerebbe probabilmente di una serie di esempi/scelte predefinite come “chiacchierone/divertente”, “neutro/accurato” fino a “letterario/nerd” per mostrare come le formulazioni della personalità possono cambiare la risposta.
Ho anche scoperto che valutare l’effetto delle modifiche alla formulazione dei prompt può essere piuttosto difficile a causa della casualità intrinseca dei modelli, e anche perché gli effetti possono variare in base all’argomento del prompt. Potrebbe essere utile sviluppare una suite di test standard di input utente e utilizzarli per dare una simulazione a secco di come le modifiche alla personalità o alle istruzioni altererebbero gli output del bot. Immagino che questo sarebbe utile anche per il tuo team… anche se una volta che il set di test diventa grande, si presenta il problema di come valutarlo senza impiegare molto tempo.
Un’altra dimensione che penso gli utenti potrebbero voler modificare spesso è quanto strettamente l’LLM si attiene al materiale sorgente fornito nel prompt. Nei miei test, devi essere piuttosto esplicito (e ripetitivo) nell’istruire il modello a non importare conoscenze esterne al contesto e a chiarire (ulteriori istruzioni) che preferiresti non avere una risposta piuttosto che risposte errate. Puoi anche controllare il grado in cui il modello “mostra il suo lavoro” e cita fonti/fornisce esempi, e penso che questo sia spesso un buon modo per evitare allucinazioni/risposte senza senso quando il contesto non include la risposta effettiva o materiale pertinente.
Un ultimo commento… vedo qui che vi siete preoccupati dei costi e siete stati parsimoniosi con i token, il che immagino abbia senso per siti molto grandi. Tuttavia, per applicazioni più piccole o di maggior valore finanziario (ad esempio, assistenza clienti), non penso che sarebbe un grosso problema, e questo non farà che diminuire nel tempo. Il costo di query aggiuntive a classificatori separati che verificano la risposta, o implementano “guard rail” definiti dall’utente, varrebbe sicuramente la pena per noi. Ad esempio, abbiamo trovato prompt come “questa risposta contiene informazioni non trovate in queste fonti” essere abbastanza diagnostici, e sicuramente vale la pena eseguirli prima di presentare informazioni agli utenti. GPT 3.5 va benissimo per questo tipo di attività, anche se il lavoro principale venisse eseguito con GPT4.