Thereās a PR open to add GPT-5 but thereās something going wrong during CI.
Iāve opened a Dev topic about it.
Has been merged.
If you find GPT-5ās reasoning too slow you can change the reasoning level. Thereās a new minimal level now.
Thanks to @NateDhaliwal for his assistance on this one!
2 likes
Onze bot kreeg time-outs totdat we de redenering op minimaal hebben ingesteld. Bedankt!
1 like
Eerlijk gezegd vind ik GPT-5 over het algemeen te traag en is de extra responstijd niet duidelijk de moeite waard.
Hoe heb je het ervaren voor je supportbot?
Ik heb gpt-5 geprobeerd via Chat GPT, dat is echt een heel ander ding dan via de API, en het heeft die lange redeneertijd nodig om iets betere antwoorden te geven dan 4o of o1 zou geven. Als het snel moet antwoorden, is het niet beter dan 4.1.
Ik ben er vrij zeker van dat de situatie hetzelfde is, of erger vanwege het gebrek aan tools en prompting, bij gebruik van de API. Maar ik weet het niet zeker, omdat gpt-5 pijnlijk langzaam is en in een forumomgeving moet het bijna met lichtsnelheid antwoorden.
1 like
In terms of content performance, anecdotally, it seems like gpt-5 is giving noticeably better technical answers that gpt-4o. Iām not sure how to quantify that but it really impressed me.
Iām getting varying results in how long it takes to respond. It does seem, from experimenting this morning, like gpt-5 is slower on average but not by too much, and there were some cases where the response came faster with gpt-5. Iām measuring anywhere from 5 seconds to 35 seconds for a reply.
Weāre using RAG and I canāt tell what portion of the latency is from the RAG search vs the chat completion. It could be that sometimes it chooses not to RAG search, the search happens faster, or something is cached (in the search or the completion).
We would typically choose better answers over a faster response because giving customers bad technical advice is costly. Up to a point though, if it times out then thatās a very bad user experience.
GPT-5 recommends primarily gpt-5-mini for our use case, and escalate to gpt-5 in some circumstances. Sounds neat but complicated. Have you considered switching between models dynamically? Why doesnāt OpenAI just do that automatically? ChatGPT - Compare GPT models performance
1 like
We moesten terugschakelen naar gpt-4o omdat gpt-5-mini blijkbaar denkt dat het dingen kan die het niet kan. Het bood vol vertrouwen aan om de alarmbewakingsservice van een klant in te stellen en deze te verbinden met hun thuisalarmapparatuur. Het vroeg hen om apparatuur-ID-nummers en hallucineerde alsof het een conciƫrge was die alles voor hen instelde. Onze website kan dat, maar de chatbot niet. Het lijkt de beveiligingsmaatregelen in de systeemprompt niet te respecteren zoals gpt-4o dat wel deed. We zullen het moeten aanscherpen voordat we mensen het kunnen laten gebruiken.
Update: Het blijkt dat gpt-5 veel beter is in het volgen van instructies en het respecteren van regels in de prompt dan gpt-5-mini. Als je een bot je merk wilt laten vertegenwoordigen, raad ik gpt-5 aan, ook al is het langzamer en 5x duurder. Er is te veel risico dat gpt-5-mini ontspoort.
1 like
I have had really good luck with GTP-5-mini in agentic flows via tool calling, code writing and structured data. I generally find structured data is easier for AI apps than unstructured ! .. not what I expected ! but guardrails are easier .. (code-in-loop, human-in-loop, llm-as-judge, etc)
please watch this for blow by blow walkthru of high performance , low cost gpt-5-mini and gpt-4o ā¦
If anyone out there is interested in working structured data capabilities into Discourse as a plugin, etc. Please reach out.
An NLP extension for sql/stats/datascience to Data Explorer is an example.. But could also possibly have a tool / plugin / feature that allows natural language queries of read-only sqlLite or duckdb etc olap files loaded into the container ? just a thought.. 
Btw, I added GPT 5.1 to the plugin along with some fixes: