요약에서 "Mondays"라는 대화가 표시되고 있습니다:
로그에서 이 내용을 확인했는데, 모델이 포맷을 해석하는 데 도움을 주기 위한 것으로 보입니다. 하지만 사용자에게까지 노출되어서는 안 됩니다.
이 문제는 다음 두 가지를 변경한 후부터 발생하기 시작했습니다:
AiSummary.destroy_all을 사용하여 ai_summaries 테이블의 기존 요약을 삭제함. 이 조치만으로는 충분하지 않은 걸까요?Claude Haiku 3.5로 변경한 후 모든 요약이 그런가요?
아니요, 절반 정도, 즉 10개 중 5개 정도의 요약이 생성되었습니다. 문제가 해결되는지 확인하기 위해 sonnet으로 전환해 보았지만, 현재 레이트 리밋에 부딪혀 이 문제를 파악하는 데 시간이 좀 걸릴 것 같습니다.
이 일이 발생한 토픽의 전체 API 요청과 응답을 확인해서 공유해 주시겠어요? ai_api_audit_logs 테이블에 기록되어 있을 거예요.
아쉽게도 현재는 그렇지 않습니다. 하지만 이전에 그 부분을 확인해 보았을 때, 해당 주제에 대한 응답은 월요일에 대한 언급 없이 유효한 요약이었습니다. 응답 이후에 혼동이 생길 수 있는 방법이 있을까요? 만약 떠오르는 것이 없다면, 며칠 안에 더 명확한 예를 드리겠습니다.
ai_api_audit_logs 테이블에 대한 로깅은 보장되며, 성공적인 응답은 모두 해당 테이블에 기록됩니다. 따라서 전체 프롬프트를 확인하실 수 있어야 합니다. 데이터 탐색기를 실행하여 테이블 내용을 확인해 보실 수 있을까요?
Anthropic에서 레이트 리밋에 도달할 때 월요일이 표시되는 현상을 이해합니다. 적어도 Haiku 모델에서는 그렇습니다. 레이트 리밋 문제를 수정해 볼 수는 있지만, 실패했을 때 월요일이 표시되지 않는 것이 더 나을 것입니다.
/logs:
Job exception: {"type":"error","error":{"type":"rate_limit_error","message":"Number of request tokens has exceeded your per-minute rate limit (https://docs.anthropic.com/en/api/rate-limits); see the response headers for current usage. Please reduce the prompt length or the maximum tokens requested, or try again later. You may also contact sales at https://www.anthropic.com/contact-sales to discuss your options for a rate limit increase."}}
ai_api_audit_logs에서 온 요청. 실제 사용자 콘텐츠는 편집했습니다:
{
"model": "claude-3-haiku-20240307",
"max_tokens": 3000,
"messages": [
{
"role": "user",
"content": "Here are the posts inside <input></input> XML tags:\n\n<input>1) user1 said: I love Mondays 2) user2 said: I hate Mondays</input>\n\nGenerate a concise, coherent summary of the text above maintaining the original language."
},
{
"role": "assistant",
"content": "Two users are sharing their feelings toward Mondays. [user1](/t/-/11772/1) hates them, while [user2](/t/-/11772/2) loves them."
},
{
"role": "user",
"content": "he discussion title is: [redacted].\n\nHere are the posts, inside <input>[redacted]</input> XML tags:\n\n<input></input>\n\nGenerate a concise, coherent summary of the text above maintaining the original language."
}
],
"system": "You are an advanced summarization bot that generates concise, coherent summaries of provided text.\n\n- Only include the summary, without any additional commentary.\n- You understand and generate Discourse forum Markdown; including links, _italics_, **bold**.\n- Maintain the original language of the text being summarized.\n- Aim for summaries to be 400 words or less.\n- Each post is formatted as \"<POST_NUMBER>) <USERNAME> <MESSAGE>\"\n- Cite specific noteworthy posts using the format [NAME](/t/-/11772/POST_NUMBER)\n - Example: link to the 3rd post by sam: [sam](/t/-/11772/3)\n - Example: link to the 6th post by jane: [agreed with](/t/-/11772/6)\n - Example: link to the 13th post by joe: [#13](/t/-/11772/13)\n- When formatting usernames either use @USERNMAE OR [USERNAME](/t/-/11772/POST_NUMBER)"
}
ai_api_audit_logs에서 온 응답:
{
"id": "msg_01QPVSmg93tu21WtPUvoNZ33",
"type": "message",
"role": "assistant",
"model": "claude-3-haiku-20240307",
"content": [
{
"type": "text",
"text": "Summary:\n\nTwo users are sharing their feelings toward Mondays. [user1](/t/-/11772/1) loves them, while [user2](/t/-/11772/2) hates them."
}
],
"stop_reason": "end_turn",
"stop_sequence": null,
"usage": {
"input_tokens": 7298,
"output_tokens": 49
}
}
요약(Summarize) 버튼을 클릭하면 다음과 같은 내용이 표시됩니다:
그 말은 레이트 리밋에 걸렸을 때 429 대신 200 응답을 반환하고 있다는 뜻입니다.
이것은 그들의 API에 있는 버그입니다. 거기에 버그 리포트를 열어주실 수 있나요?
그들은 헤더를 포함한 네트워크 트래픽을 원합니다. 요약(Summarize) 버튼을 누르거나 sidekiq 작업을 트리거하는 방식으로 브라우저에서 이를 가져오는 방법을 찾지 못하겠습니다.
저희는 해당 정보를 기록하지 않습니다. 서버에서 cURL을 발급하는 과정을 재현한 뒤 그 내용을 전달해 주셔야 합니다.
또한 msg_01QPVSmg93tu21WtPUvoNZ33를 제공하면, 해당 값을 로그에서 직접 검색할 수 있습니다.
샘 @markschmucker 님이 제공한 요청 ID와 관련하여 Anthropic에서 새로운 소식은 없나요?
아직도 속도 제한(rate limit)을 받고 있다면, 백필(batch) 크기를 절반으로 줄여보시는 것을 추천합니다.
그들은 일반적인 지원 티켓 시스템을 갖추고 있지 않습니다. 대신 봇과 대화하게 됩니다. 저는 @sam이 제공한 메시지 ID를 포함하여 문제를 봇에 신고했습니다. 봇은 이를 접수하고 인간에게 전달하겠다고 약속했으며, 새로운 상태가 업데이트되면 이메일로 알려주겠다고 했습니다. 아직 이메일은 도착하지 않았습니다.
오늘 Anthropic에서 채팅 메시지가 왔는데, 단순히 문제가 여전히 일어나고 있는지 물어보는 내용이었습니다. 여전히 일어나고 있습니다. 추가적인 피드백은 없었습니다. 답답한 경험이었어요.
Anthropic의 답변:
안녕하세요,
현재 이 오류를 재현하지 못하고 있습니다.
감사합니다.
라이언
이 문제를 더 이상 어떻게 진행해야 할지 모르겠습니다. cURL로 직접 테스트를 만들어 볼 수는 있지만, 이는 Discourse가 수행하는 작업을 정확하게 재현하지 못할 것 같습니다.
Discourse는 cURL이 수행하는 것과 동일한 HTTP 호출을 수행하므로, 100% 동일한 환경에서 재현하는 것이 가능합니다.
그러나 Anthropic이 증가하는 수요를 따라가지 못하고 있다는 점은 잘 알려져 있으므로, AWS나 Google Cloud를 통해 Claude를 사용하거나, Gemini나 다른 LLM API를 시도하는 것이 더 쉽습니다.