我们有很多主题超出了典型的上下文长度（例如 128k），并且会发生糟糕的事情。您是否考虑过仅根据最受欢迎的帖子进行摘要？从最受欢迎的帖子开始，添加下一个最受欢迎的帖子，然后继续，直到达到目标上下文长度，然后将生成的文本传递给 GPT？至少对于我们的论坛来说，“喜欢”是“最相关”的一个很好的代理。
在长话题中，我们使用话题中获得点赞最多的前 50 条帖子，其工作原理如下。
1 个赞
嗯，总结似乎在处理长篇主题时会卡住，所以我认为这与内容长度有关。有什么调试技巧吗？我正在使用 gpt-o4。我在 OpenAI 仪表板中看不到查看特定 API 请求的方法。
您可以在 ai_api_audit_logs 表中查看请求。
关于摘要中断的问题，我们最近在此方面遇到了一些前端 bug，请将您的站点更新到最新版本。
2 个赞
我在错误日志中发现了这个：
Request too large for gpt-4o in organization org-xxxxxxxxxxxxxxxxx on tokens per min (TPM): Limit 30000, Requested 45906.
要提高我的限制，我认为我必须实际花费 50 美元（而不仅仅是预算）并等待大约一个月加上 7 天：
到目前为止，我只花了 2.00 美元，而且还没有到期付款。我也看不到如何在 Discourse 中设置令牌上限。因此，目前我不知道如何对长话题进行摘要。
哦，所以问题是你的 OpenAI 账户受限，每分钟的 token 数量有限制，这会影响你在 Discourse 上使用 AI 摘要功能。
这真是太糟糕了。我建议你考虑其他提供商，比如 Anthropic、AWS、Azure、Google Cloud，甚至 Llama API 提供商。我相信有些提供商有免费套餐，其额度会比你现在的高。
2 个赞
我从使用 4o 切换到 4o-mini 进行摘要，这似乎适用于我最长的主题。显然，OpenAI 对不同的 GPT 有不同的限制。
2 个赞