Quali sono le differenze tra il plugin ufficiale Discourse AI e il plugin Discourse Chatbot 🤖 in termini di bot AI e le loro funzionalità?
2 Mi Piace
@merefield il plugin esiste da più tempo e ha molte più opzioni per configurarlo. Anche AI Bot è un po’ più ambizioso (soprattutto da quando abbiamo accesso a GPT 4) nel senso che tentiamo di integrarlo nell’esperienza di Discourse: sa come cercare e riassumere argomenti, ad esempio.
Le differenze degne di nota al momento sono probabilmente:
- Trasmettiamo le risposte in streaming e offriamo un pulsante di arresto
- @merefield offre molte più impostazioni per ottimizzare le cose
- Offriamo un framework di “comandi” per far agire il bot per tuo conto, sebbene l’esperienza sia piuttosto instabile con GPT 3.5
- @merefield offre attualmente l’integrazione della chat di Discourse, noi ancora no
- Offriamo anche l’integrazione Anthropic
8 Mi Piace
Da aggiungere: Dai miei test, sembra che AI Bot funzioni solo in PM e Chatbot funzioni ovunque, a meno che non stia facendo qualcosa di sbagliato con AI bot.
La generazione di immagini e lo streaming sono ben fatti, così come l’API di ricerca, tuttavia, a volte ricade ancora su “Non posso cercare sul web o non posso generare immagini”. Utilizzi qualcosa di simile agli agenti LangChain, che decidono quali passaggi intraprendere?
Dovremmo creare un CX con ambito per l’intero web o solo per la nostra istanza URL?
2 Mi Piace
È corretto. Probabilmente arriveremo a un’integrazione più ampia, ma ci stiamo prendendo il nostro tempo e stiamo cercando di perfezionare le cose esistenti prima.
Sì, questa è la cosa molto frustrante di GPT 3.5 rispetto a 4. Radicare il modello per 3.5 è semplicemente super difficile.
Sto considerando di avere un passaggio intermedio prima di rispondere in GPT 3.5 che prima esegua un triage prima di rispondere effettivamente (es: questa interazione INTERACTION sembra che dovrebbe risultare in un !comando, se sì, quale?) Purtroppo aggiungerebbe costi e ritardi, quindi questa è la mia ultima risorsa.
Usiamo una sorta di “langchain”, limitata a 5 passaggi, ma cerchiamo di essere molto parchi con i token, quindi l’equilibrio è difficile.
A te la scelta… Mi piace avere accesso a tutto Google, è molto comodo.
4 Mi Piace
Quello che faccio per radicare il 3.5 è aggiungere un secondo prompt di sistema, più corto, più in basso nel prompt finale per “ricordare” al modello alcune delle regole nel prompt di sistema principale.
Quindi assomiglierebbe a qualcosa del genere (scrivendo dal telefono, ci provo…)
ruolo di sistema
utente
assistente
..
..
ruolo di sistema “promemoria”
nuovo prompt utente
Semplicemente ripetendo i contenuti più importanti del ruolo di sistema, il modello gli dà più peso. Utilizzo questa soluzione da alcuni mesi senza troppe risposte strane.
Soprattutto se i prompt diventano più lunghi, il modello tende a “dimenticare” le cose che si trovano più in alto nel prompt finale. Le cose nell’IA sono molto “hacky”, è qualcosa che sperimento nei modelli GPT e anche in langchain. Proprio oggi ho ottenuto una personalità così forte in langchain che le azioni quando chiedevo l’ora in una città casuale erano “controllare il mio orologio”, “cambiare il fuso orario del mio orologio” e “chiedere a uno sconosciuto”.
4 Mi Piace