Discourse Chatbot 🤖

C’è una PR aperta per aggiungere GPT-5 ma qualcosa sta andando storto durante la CI.

Ho aperto un Dev argomento a riguardo.

È stato unito.

Se trovi che il ragionamento di GPT-5 sia troppo lento, puoi cambiare il livello di ragionamento. Ora c’è un nuovo livello minimal.

Grazie a @NateDhaliwal per la sua assistenza in questo caso!

2 Mi Piace

Il nostro bot andava in timeout finché non abbiamo impostato il ragionamento su minimo. Grazie!

1 Mi Piace

Onestamente, trovo GPT-5 generalmente troppo lento e non vale ovviamente il tempo di risposta aggiuntivo.

Come ti sei trovato con il tuo bot di supporto?

Ho provato gpt-5 usando Chat GPT, che è una cosa molto diversa rispetto all’API, e richiede quel lungo tempo di ragionamento per dare risposte leggermente migliori rispetto a 4o, o o1. Quando deve rispondere velocemente, non è migliore di 4.1.

Sono abbastanza sicuro che la situazione sia simile, o peggiore a causa della mancanza di strumenti e del prompting, quando si utilizza l’API. Ma non lo so per certo, perché gpt-5 è dolorosamente lento e in un ambiente di forum deve rispondere quasi alla velocità della luce.

1 Mi Piace

In termini di prestazioni dei contenuti, aneddoticamente, sembra che gpt-5 fornisca risposte tecniche notevolmente migliori rispetto a gpt-4o. Non sono sicuro di come quantificarlo, ma mi ha davvero impressionato.

Sto ottenendo risultati variabili in termini di tempo di risposta. Sembra che, sperimentando stamattina, gpt-5 sia più lento in media, ma non di molto, e ci sono stati alcuni casi in cui la risposta è arrivata più velocemente con gpt-5. Sto misurando da 5 secondi a 35 secondi per una risposta.

Stiamo utilizzando RAG e non riesco a capire quale porzione della latenza provenga dalla ricerca RAG rispetto al completamento della chat. Potrebbe essere che a volte scelga di non effettuare la ricerca RAG, la ricerca avvenga più velocemente o qualcosa venga memorizzato nella cache (nella ricerca o nel completamento).

Tipicamente sceglieremmo risposte migliori rispetto a una risposta più veloce perché fornire ai clienti cattivi consigli tecnici è costoso. Fino a un certo punto, però, se va in timeout, l’esperienza utente è molto negativa.

GPT-5 raccomanda principalmente gpt-5-mini per il nostro caso d’uso, ed eventualmente gpt-5 in alcune circostanze. Sembra interessante ma complicato. Hai considerato di passare dinamicamente tra i modelli? Perché OpenAI non lo fa automaticamente? ChatGPT - Compare GPT models performance

1 Mi Piace

Abbiamo dovuto tornare a gpt-4o perché apparentemente gpt-5-mini pensa di poter fare cose che non può fare. Si è offerto con sicurezza di impostare un servizio di monitoraggio allarmi per un cliente e di collegarlo alla loro attrezzatura di allarme domestica. Ha chiesto loro i numeri di ID dell’attrezzatura e ha allucinato come se fosse un concierge che impostava tutto per loro. Il nostro sito web può farlo, ma la chatbot no. Non sembra rispettare le misure di sicurezza nel prompt di sistema come faceva gpt-4o. Dovremo renderlo più rigoroso prima di poterlo far usare alle persone.

Aggiornamento: Si scopre che gpt-5 è molto più bravo a seguire le istruzioni e a rispettare le regole nel prompt rispetto a gpt-5-mini. Se hai intenzione di far rappresentare un bot al tuo marchio, ti consiglio gpt-5 anche se è più lento e 5 volte più costoso. C’è troppo rischio che gpt-5-mini vada fuori controllo.

1 Mi Piace

Ho avuto molta fortuna con GTP-5-mini nei flussi agentici tramite chiamata di strumenti, scrittura di codice e dati strutturati. Generalmente trovo che i dati strutturati siano più facili per le app AI rispetto a quelli non strutturati! .. non quello che mi aspettavo! .. ma i meccanismi di protezione (guardrails) sono più facili .. (code-in-loop, human-in-loop, llm-as-judge, ecc.)

per favore guarda questo per una spiegazione dettagliata delle prestazioni elevate e a basso costo di gpt-5-mini e gpt-4o…

Se qualcuno è interessato a integrare funzionalità di dati strutturati in Discourse come plugin, ecc., mi contatti.

Un’estensione NLP per sql/stats/datascience per Data Explorer è un esempio… Ma potrebbe anche avere uno strumento/plugin/funzionalità che consenta query in linguaggio naturale di file olap sqlLite o duckdb di sola lettura caricati nel container? Solo un pensiero.. :thinking:

A proposito, ho aggiunto GPT 5.1 al plugin insieme ad alcune correzioni:

1 Mi Piace

@tom_eric hai chiesto della possibilità di giocare a giochi con altri membri del forum in un altro Topic.

Ho provato questo prompt con Chatbot e sembra funzionare con GPT 5.1, provalo:

@Chatbot facilita una partita di Go 9x9 con @Other_Player e me usando una tabella markdown per visualizzare la scacchiera - fammi iniziare per primo e accetta mosse solo da me e da @Other_Player e solo quando è il nostro turno - visualizza la scacchiera e chiedimi di iniziare…

1 Mi Piace

Oh, grazie. È un’idea davvero creativa.Oh, grazie. È un’idea davvero creativa.

1 Mi Piace

np fammi sapere come va :+1: