我的摘要中出现了“Mondays”对话：
我在日志中看到了这个——它似乎是为了帮助模型解释格式？但不应该显示给用户。
在更改两项内容后，此行为开始出现：
- 从 sonnet 3.5 切换到 haiku 3.5
- 使用
AiSummary.destroy_all删除了ai_summaries表中现有的摘要。也许这还不够？
切换到 Claude Haiku 3.5 后，每个摘要都是这样的吗？
1 个赞
不，大约一半——大约 10 个摘要中有 5 个生成了。我尝试切换回 sonnet 以查看这是否能解决问题，但遇到了速率限制，因此这可能需要一段时间才能确定。
您能否检查一下发生这种情况的某个主题的整个API请求和响应，并与我分享？它将在 ai_api_audit_logs 表中。
2 个赞
目前还不。但我之前看过，发现该主题的回复是一个有效的摘要，没有提到星期一。回复后是否有任何方式会混淆？如果没什么想到的，我将在几天内给你一个更明确的例子。
1 个赞
我们对 ai_api_audit_logs 的日志记录是有保证的，任何成功的响应都会记录在那里，您应该能看到完整的提示。您能否运行数据浏览器并查看表的内容？
1 个赞
我遇到了 Anthropic 的速率限制问题，至少在使用 haiku 时是这样。我可以尝试修复速率限制，但最好是失败而不是显示错误。
/logs:
Job exception: {"type":"error","error":{"type":"rate_limit_error","message":"Number of request tokens has exceeded your per-minute rate limit (https://docs.anthropic.com/en/api/rate-limits); see the response headers for current usage. Please reduce the prompt length or the maximum tokens requested, or try again later. You may also contact sales at https://www.anthropic.com/contact-sales to discuss your options for a rate limit increase."}}
来自 ai_api_audit_logs 的请求。我已编辑掉真实的用户内容：
{
"model": "claude-3-haiku-20240307",
"max_tokens": 3000,
"messages": [
{
"role": "user",
"content": "Here are the posts inside <input></input> XML tags:\n\n<input>1) user1 said: I love Mondays 2) user2 said: I hate Mondays</input>\n\nGenerate a concise, coherent summary of the text above maintaining the original language."
},
{
"role": "assistant",
"content": "Two users are sharing their feelings toward Mondays. [user1](/t/-/11772/1) hates them, while [user2](/t/-/11772/2) loves them."
},
{
"role": "user",
"content": "he discussion title is: [redacted].\n\nHere are the posts, inside <input>[redacted]</input> XML tags:\n\n<input></input>\n\nGenerate a concise, coherent summary of the text above maintaining the original language."
}
],
"system": "You are an advanced summarization bot that generates concise, coherent summaries of provided text.\n\n- Only include the summary, without any additional commentary.\n- You understand and generate Discourse forum Markdown; including links, _italics_, **bold**.\n- Maintain the original language of the text being summarized.\n- Aim for summaries to be 400 words or less.\n- Each post is formatted as \"<POST_NUMBER>) <USERNAME> <MESSAGE>\"\n- Cite specific noteworthy posts using the format [NAME](/t/-/11772/POST_NUMBER)\n - Example: link to the 3rd post by sam: [sam](/t/-/11772/3)\n - Example: link to the 6th post by jane: [agreed with](/t/-/11772/6)\n - Example: link to the 13th post by joe: [#13](/t/-/11772/13)\n- When formatting usernames either use @USERNMAE OR [USERNAME](/t/-/11772/POST_NUMBER)"
}
来自 ai_api_audit_logs 的响应:
{
"id": "msg_01QPVSmg93tu21WtPUvoNZ33",
"type": "message",
"role": "assistant",
"model": "claude-3-haiku-20240307",
"content": [
{
"type": "text",
"text": "Summary:\n\nTwo users are sharing their feelings toward Mondays. [user1](/t/-/11772/1) loves them, while [user2](/t/-/11772/2) hates them."
}
],
"stop_reason": "end_turn",
"stop_sequence": null,
"usage": {
"input_tokens": 7298,
"output_tokens": 49
}
}
点击“Summarize”按钮会显示：
他们想要包含标头的网络流量。我不知道如何通过点击“摘要”按钮或触发 sidekiq 作业来从浏览器中获取它。
我们不会记录该信息，您需要从服务器重现 cURL 请求并将其转发。
1 个赞
您也可以提供 msg_01QPVSmg93tu21WtPUvoNZ33 给他们，他们可以直接在日志中查找。
3 个赞
Sam @markschmucker 提供的请求 ID 有来自 Anthropic 的任何消息吗？
如果您仍然受到速率限制，也许可以尝试将回填批次大小减半。
1 个赞
他们没有典型的支持工单系统——而是你与机器人对话。我向机器人报告了问题，包括 @sam 提供的消息 ID。机器人相信了，并承诺将其转交给人工处理，并在有新状态时给我发邮件。还没有收到邮件。
3 个赞
今天我收到一条来自 Anthropic 的聊天消息，只是问我是否还在发生。它还在发生。没有进一步的反馈。令人沮丧的经历。
来自 Anthropic 的回复：
你好，
很遗憾，我目前无法重现此错误。
此致，
Ryan
我不知道该如何进一步推进此事。我可以自己创建一个 cURL 测试，但我怀疑这并不能准确地复制 Discourse 的操作。
Discourse 会执行与 cURL 相同的 HTTP 调用，因此可以 100% 精确地重现。
话虽如此，众所周知，Anthropic 在满足日益增长的需求方面遇到了困难，因此，通过 AWS 或 Google Cloud 使用 Claude，或者尝试 Gemini 或其他 LLM API 可能更容易。