有一个关于添加 GPT-5 的拉取请求(PR)已打开,但在 CI 过程中出现了一些问题。
我们的机器人一直超时,直到我们将推理设置为最小。谢谢!
说实话,我觉得 GPT-5 的响应速度普遍太慢了,而且响应时间增加得并不明显。
你觉得它对你的支持机器人怎么样?
我尝试了通过 ChatGPT 使用 gpt-5,这与通过 API 使用有很大不同,它需要很长的推理时间才能给出比 4o 或 o1 稍好的答案。当它需要快速回答时,它并不比 4.1 好。
我相当确定,在使用 API 时,由于缺乏工具和提示,情况大致相同,甚至更糟。但我不能确定,因为 gpt-5 慢得令人痛苦,而在论坛环境中,它必须以接近光速的速度回答。
在内容表现方面,根据我的经验,GPT-5 提供的技术性答案似乎明显优于 GPT-4o。我不确定如何量化这一点,但它给我留下了深刻的印象。
我注意到响应时间的结果各不相同。通过今早的实验,GPT-5 的平均响应速度似乎稍慢一些,但差距不大,而且在某些情况下,GPT-5 的响应速度更快。我测得的回复时间在 5 秒到 35 秒之间。
我们正在使用 RAG,但我无法确定延迟是来自 RAG 搜索还是聊天完成。有可能是它有时选择不进行 RAG 搜索,搜索速度更快,或者某些东西被缓存了(在搜索或完成中)。
我们通常会选择更好的答案而不是更快的响应,因为给客户提供错误的技术建议代价高昂。但也有一个度,如果超时了,那将是非常糟糕的用户体验。
GPT-5 主要建议在我们的用例中主要使用 gpt-5-mini,并在某些情况下升级到 gpt-5。听起来很棒但很复杂。您是否考虑过动态切换模型?为什么 OpenAI 不自动执行此操作?ChatGPT - Compare GPT models performance
由于 gpt-5-mini 似乎认为自己能做它做不到的事情,我们不得不切换回 gpt-4o。它自信地提出要为客户设置他们的警报监控服务,并将其连接到他们的家庭警报设备。它向客户索要设备 ID 号码,并像礼宾员一样为他们设置好一切,但实际上是在胡说八道。我们的网站可以做到这一点,但聊天机器人不能。它似乎不像 gpt-4o 那样遵守系统提示中的护栏。我们需要收紧它,然后才能让人们使用它。
更新:事实证明,gpt-5 在遵循指令和遵守提示中的规则方面比 gpt-5-mini 好得多。如果你要让一个机器人代表你的品牌,我推荐 gpt-5,尽管它速度较慢且价格是 gpt-5-mini 的 5 倍。gpt-5-mini 脱轨的风险太大了。
我在通过工具调用、代码编写和结构化数据的智能体流程中,对 GTP-5-mini 取得了非常好的效果。我通常发现结构化数据比非结构化数据更容易用于 AI 应用!……这与我的预期相反!但是,护栏(如循环内代码、循环内人工、LLM 作为裁判等)更容易实现。
请观看此视频,了解高性能、低成本的 gpt-5-mini 和 gpt-4o 的详细演练……
如果有人有兴趣将结构化数据功能集成到 Discourse 中作为插件等,请与我联系。
一个用于 SQL/统计/数据科学的 NLP 扩展是数据探索器的一个例子……但也可能有一个工具/插件/功能,允许对加载到容器中的只读 sqlLite 或 duckdb 等 OLAP 文件进行自然语言查询?只是一个想法……![]()
顺便说一下,我已将 GPT 5.1 添加到插件中,并进行了一些修复: