Ich bekomme die Konversation „Montage“ in meinen Zusammenfassungen:
Ich habe das in meinen Protokollen gesehen – es scheint dazu gedacht zu sein, dem Modell zu helfen, das Format zu interpretieren? Aber es sollte für Benutzer nicht sichtbar sein.
Dieses Verhalten begann nach zwei Änderungen:
ai_summaries mit AiSummary.destroy_all. Vielleicht ist das nicht ausreichend?Ist jede Zusammenfassung so, nachdem sie zu Claude Haiku 3.5 gewechselt hat?
Nein, etwa die Hälfte – etwa 5 von 10 generierten Zusammenfassungen. Ich habe versucht, zu Sonett zurückzuwechseln, um zu sehen, ob das das Problem behebt, aber ich stoße auf Ratenbegrenzungen, daher kann es eine Weile dauern, bis dies charakterisiert ist.
Können Sie die gesamte API-Anfrage und -Antwort aus einem Thema überprüfen, in dem dies geschehen ist, und sie mir mitteilen? Sie finden sie in der Tabelle ai_api_audit_logs.
Leider im Moment nicht. Aber ich habe mir das früher angesehen und festgestellt, dass die Antwort zu diesem Thema eine gültige Zusammenfassung ohne Erwähnung von Montagen war. Gibt es eine Möglichkeit, dass es nach der Antwort zu Verwechslungen kommen könnte? Wenn Ihnen nichts einfällt, gebe ich Ihnen in den nächsten Tagen ein eindeutigeres Beispiel.
Unsere Protokollierung in ai_api_audit_logs ist garantiert, alle erfolgreichen Antworten werden dort protokolliert und Sie sollten die gesamte Eingabeaufforderung sehen. Gibt es eine Möglichkeit, dass Sie den Daten-Explorer ausführen und sich die Inhalte der Tabelle ansehen können?
Ich bekomme Montags die Montags, wenn ich bei Anthropic ein Ratenlimit erreiche, zumindest mit Haiku. Ich kann versuchen, das Ratenlimit zu beheben, aber es wäre schön, wenn es fehlschlägt und nicht die Montags angezeigt werden.
/logs:
Job exception: {"type":"error","error":{"type":"rate_limit_error","message":"Number of request tokens has exceeded your per-minute rate limit (https://docs.anthropic.com/en/api/rate-limits); see the response headers for current usage. Please reduce the prompt length or the maximum tokens requested, or try again later. You may also contact sales at https://www.anthropic.com/contact-sales to discuss your options for a rate limit increase."}}
Anfrage von ai_api_audit_logs. Ich habe den echten Benutzerinhalt geschwärzt:
{
"model": "claude-3-haiku-20240307",
"max_tokens": 3000,
"messages": [
{
"role": "user",
"content": "Here are the posts inside <input></input> XML tags:\n\n<input>1) user1 said: I love Mondays 2) user2 said: I hate Mondays</input>\n\nGenerate a concise, coherent summary of the text above maintaining the original language."
},
{
"role": "assistant",
"content": "Two users are sharing their feelings toward Mondays. [user1](/t/-/11772/1) hates them, while [user2](/t/-/11772/2) loves them."
},
{
"role": "user",
"content": "he discussion title is: [redacted].\n\nHere are the posts, inside <input>[redacted]</input> XML tags:\n\n<input></input>\n\nGenerate a concise, coherent summary of the text above maintaining the original language."
}
],
"system": "You are an advanced summarization bot that generates concise, coherent summaries of provided text.\n\n- Only include the summary, without any additional commentary.\n- You understand and generate Discourse forum Markdown; including links, _italics_, **bold**.\n- Maintain the original language of the text being summarized.\n- Aim for summaries to be 400 words or less.\n- Each post is formatted as \"<POST_NUMBER>) <USERNAME> <MESSAGE>\"\n- Cite specific noteworthy posts using the format [NAME](/t/-/11772/POST_NUMBER)\n - Example: link to the 3rd post by sam: [sam](/t/-/11772/3)\n - Example: link to the 6th post by jane: [agreed with](/t/-/11772/6)\n - Example: link to the 13th post by joe: [#13](/t/-/11772/13)\n- When formatting usernames either use @USERNMAE OR [USERNAME](/t/-/11772/POST_NUMBER)"
}
Antwort von ai_api_audit_logs:
{
"id": "msg_01QPVSmg93tu21WtPUvoNZ33",
"type": "message",
"role": "assistant",
"model": "claude-3-haiku-20240307",
"content": [
{
"type": "text",
"text": "Summary:\n\nTwo users are sharing their feelings toward Mondays. [user1](/t/-/11772/1) loves them, while [user2](/t/-/11772/2) hates them."
}
],
"stop_reason": "end_turn",
"stop_sequence": null,
"usage": {
"input_tokens": 7298,
"output_tokens": 49
}
}
Wenn Sie auf die Schaltfläche “Zusammenfassen” klicken, wird Folgendes angezeigt:
Das würde bedeuten, dass sie eine 200er-Antwort zurückgeben, wenn Sie eine Ratenbegrenzung erreichen, anstatt eine 429er.
Dies wäre ein Fehler in ihrer API. Können Sie dort einen Fehlerbericht eröffnen?
Sie möchten den Netzwerkverkehr einschließlich der Header. Ich sehe nicht, wie ich das von meinem Browser aus abrufen kann, weder durch Drücken der Schaltfläche „Zusammenfassen“ noch durch Auslösen des Sidekiq-Jobs.
Das protokollieren wir nicht. Sie müssten die Ausgabe eines cURL-Befehls von Ihrem Server reproduzieren und uns diese weiterleiten.
Sie können ihnen auch msg_01QPVSmg93tu21WtPUvoNZ33 übergeben, das sie direkt in ihren Protokollen nachschlagen können.
Gibt es Neuigkeiten von Anthropic bezüglich der von Sam @markschmucker bereitgestellten Request-ID?
Wenn Sie immer noch Ratenbeschränkungen unterliegen, versuchen Sie vielleicht, die Größe des Backfill-Batches zu halbieren.
Sie haben kein typisches Support-Ticket-System – stattdessen spricht man mit einem Bot. Ich habe das Problem dem Bot gemeldet, einschließlich der von @sam bereitgestellten Nachrichten-ID. Der Bot war überzeugt und versprach, es an einen Menschen weiterzuleiten und mir eine E-Mail zu senden, wenn es einen neuen Status gibt. Bisher keine E-Mails.
Heute erhielt ich eine Chatnachricht von Anthropic, in der einfach gefragt wurde, ob es immer noch passiert. Das tut es. Kein weiteres Feedback. Frustrierende Erfahrung.
Antwort von Anthropic:
Hallo,
leider kann ich diesen Fehler derzeit nicht reproduzieren.
Beste Grüße,
Ryan
Ich sehe nicht, wie ich das weiter vorantreiben kann. Ich könnte meinen eigenen Test mit cURL erstellen, aber ich vermute, dass dies keine genaue Nachbildung dessen wäre, was Discourse tut.
Discourse führt dieselbe HTTP-Aufrufe wie cURL durch, sodass es mit 100%iger Genauigkeit reproduziert werden kann.
Das heißt, es ist bekannt, dass Anthropic Schwierigkeiten hat, mit der steigenden Nachfrage Schritt zu halten, daher könnte es einfacher sein, sich nach der Nutzung von Claude über AWS oder Google Cloud umzusehen oder sogar Gemini oder andere LLM-APIs auszuprobieren.