Ricevo la conversazione “Mondays” nei miei riepiloghi:
L’ho visto nei miei log: sembra essere inteso ad aiutare il modello a interpretare il formato? Ma non dovrebbe essere visibile agli utenti.
Questo comportamento è iniziato dopo aver modificato due cose:
ai_summaries con AiSummary.destroy_all. Forse questo non è sufficiente?Ogni riassunto è così dopo essere passato a Claude Haiku 3.5?
No, circa la metà, circa 5 riassunti su 10 generati. Ho provato a tornare a Sonnet per vedere se questo risolve il problema, ma sto riscontrando limiti di frequenza, quindi potrebbe volerci un po’ di tempo per caratterizzarlo.
Puoi controllare l’intera richiesta e risposta dell’API da un argomento in cui è successo e condividerla con me? Sarà nella tabella ai_api_audit_logs.
Al momento purtroppo no. Ma l’ho esaminato prima e ho scoperto che la risposta per quell’argomento era un riassunto valido senza menzione dei lunedì. C’è un modo in cui potrebbe confondersi dopo la risposta? Se non ti viene in mente nulla, ti darò un esempio più definitivo nei prossimi giorni.
La nostra registrazione in ai_api_audit_logs è garantita, tutte le risposte corrette vengono registrate lì e dovresti vedere l’intero prompt. C’è un modo in cui puoi eseguire il data explorer e guardare il contenuto della tabella?
Ottengo i lunedì quando raggiungo un limite di frequenza su Anthropic, almeno con haiku. Posso provare a correggere il limite di frequenza, ma sarebbe bello fallire e non visualizzare i lunedì.
/logs:
Job exception: {"type":"error","error":{"type":"rate_limit_error","message":"Il numero di token della richiesta ha superato il limite di frequenza al minuto (https://docs.anthropic.com/en/api/rate-limits); vedere le intestazioni di risposta per l'utilizzo corrente. Ridurre la lunghezza del prompt o il numero massimo di token richiesti, o riprovare più tardi. È anche possibile contattare le vendite all'indirizzo https://www.anthropic.com/contact-sales per discutere le opzioni per un aumento del limite di frequenza."}}
Richiesta da ai_api_audit_logs. Ho oscurato il contenuto reale dell’utente:
{
"model": "claude-3-haiku-20240307",
"max_tokens": 3000,
"messages": [
{
"role": "user",
"content": "Ecco i post all'interno dei tag XML \u003cinput\u003e\u003c/input\u003e:\n\n\u003cinput\u003e1) user1 ha detto: Amo i lunedì 2) user2 ha detto: Odio i lunedì\u003c/input\u003e\n\nGenera un riassunto conciso e coerente del testo sopra, mantenendo la lingua originale."
},
{
"role": "assistant",
"content": "Due utenti stanno condividendo i loro sentimenti riguardo ai lunedì. [user1](/t/-/11772/1) li odia, mentre [user2](/t/-/11772/2) li ama."
},
{
"role": "user",
"content": "Il titolo della discussione è: [redatto].\n\nEcco i post, all'interno dei tag XML \u003cinput\u003e[redatto]\u003c/input\u003e:\n\n\u003cinput\u003e\u003c/input\u003e\n\nGenera un riassunto conciso e coerente del testo sopra, mantenendo la lingua originale."
}
],
"system": "Sei un bot di riassunto avanzato che genera riassunti concisi e coerenti del testo fornito.\n\n- Includi solo il riassunto, senza commenti aggiuntivi.\n- Comprendi e genera Markdown per forum Discourse; inclusi collegamenti, _corsivo_, **grassetto**.\n- Mantieni la lingua originale del testo da riassumere.\n- Punta a riassunti di 400 parole o meno.\n- Ogni post è formattato come \"\u003cNUMERO_POST\u003e) \u003cUSERNAME\u003e \u003cmESSAGE\u003e\"\n- Cita post specifici degni di nota usando il formato [NOME](/t/-/11772/NUMERO_POST)\n - Esempio: link al 3° post di sam: [sam](/t/-/11772/3)\n - Esempio: link al 6° post di jane: [concorda con](/t/-/11772/6)\n - Esempio: link al 13° post di joe: [#13](/t/-/11772/13)\n- Quando formatti i nomi utente usa @NOMEUTENTE OPPURE [NOMEUTENTE](/t/-/11772/NUMERO_POST)\""
}
Risposta da ai_api_audit_logs:
{
"id": "msg_01QPVSmg93tu21WtPUvoNZ33",
"type": "message",
"role": "assistant",
"model": "claude-3-haiku-20240307",
"content": [
{
"type": "text",
"text": "Riassunto:\n\nDue utenti stanno condividendo i loro sentimenti riguardo ai lunedì. [user1](/t/-/11772/1) li ama, mentre [user2](/t/-/11772/2) li odia."
}
],
"stop_reason": "end_turn",
"stop_sequence": null,
"usage": {
"input_tokens": 7298,
"output_tokens": 49
}
}
Facendo clic sul pulsante Riassumi viene visualizzato questo:
Ciò significherebbe che restituiscono una risposta 200 quando raggiungi un limite di frequenza invece di un 429.
Questo sarebbe un bug sulla loro API. Puoi aprire un bug report lì?
Vogliono il traffico di rete inclusi gli header. Non vedo come posso ottenerlo dal mio browser, né premendo il pulsante Riassumi né attivando il job sidekiq.
Non registriamo ciò, dovresti riprodurre l’emissione di un cURL dal tuo server e inoltrarlo.
Puoi anche fornire loro msg_01QPVSmg93tu21WtPUvoNZ33, possono cercarlo direttamente nei loro log.
Ci sono novità da Anthropic dato l’ID della richiesta fornito da Sam @markschmucker?
Se sei ancora limitato dalla frequenza, prova a dimezzare la dimensione del batch di backfill.
Non hanno un tipico sistema di ticket di supporto: invece, parli con un bot. Ho segnalato il problema al bot, incluso l’ID del messaggio che @sam ha fornito. Il bot è stato convinto e ha promesso di inoltrarlo a un essere umano e di inviarmi un’e-mail quando ci fossero novità. Ancora nessuna e-mail.
Oggi ho ricevuto un messaggio di chat da Anthropic, che mi chiedeva semplicemente se stesse ancora succedendo. Sta succedendo. Nessun altro feedback. Esperienza frustrante.
Risposta da Anthropic:
Ciao,
Purtroppo al momento non sto riscontrando questo errore.
Saluti,
Ryan
Non vedo come posso portare avanti ulteriormente questa cosa. Potrei creare un mio test con cURL ma sospetto che non sarebbe una replica accurata di ciò che sta facendo Discourse.
Discourse effettua le stesse chiamate HTTP di cURL, quindi è possibile riprodurle con il 100% di fedeltà.
Detto questo, è ben noto che Anthropic sta avendo difficoltà a tenere il passo con la crescente domanda, quindi potrebbe essere più facile cercare di utilizzare Claude tramite AWS o Google Cloud, o persino provare Gemini o altre API LLM.