Estou recebendo a conversa “Segundas-feiras” nos meus resumos:
Eu vi isso nos meus logs - parece que foi feito para ajudar o modelo a interpretar o formato? Mas não deveria ficar visível para os usuários.
Esse comportamento começou após a alteração de duas coisas:
ai_summaries com AiSummary.destroy_all. Talvez isso não seja suficiente?Todo resumo fica assim depois de mudar para Claude Haiku 3.5?
Não, cerca de metade — cerca de 5 em cada 10 resumos gerados. Tentei voltar para o Sonnet para ver se isso corrigia o problema, mas estou encontrando limites de taxa, então isso pode levar um tempo para ser caracterizado.
Você pode verificar toda a solicitação e resposta da API de um tópico em que isso aconteceu e compartilhar comigo? Estará na tabela ai_api_audit_logs.
No momento, infelizmente não. Mas eu olhei para isso mais cedo e descobri que a resposta para esse tópico era um resumo válido, sem menção às segundas-feiras. Existe alguma maneira de isso ser confundido após a resposta? Se nada vier à mente, darei um exemplo mais definitivo nos próximos dias.
Nosso registro em ai_api_audit_logs é garantido, todas as respostas bem-sucedidas são registradas lá e você deverá ver o prompt inteiro. Existe alguma maneira de você executar o explorador de dados e verificar o conteúdo da tabela?
Eu tenho segundas-feiras quando atinjo um limite de taxa na Anthropic, pelo menos com haiku. Posso tentar corrigir o limite de taxa, mas seria bom falhar e não exibir segundas-feiras.
/logs:
Job exception: {"type":"error","error":{"type":"rate_limit_error","message":"Number of request tokens has exceeded your per-minute rate limit (https://docs.anthropic.com/en/api/rate-limits); see the response headers for current usage. Please reduce the prompt length or the maximum tokens requested, or try again later. You may also contact sales at https://www.anthropic.com/contact-sales to discuss your options for a rate limit increase."}}
Solicitação de ai_api_audit_logs. Redigi o conteúdo real do usuário:
{
"model": "claude-3-haiku-20240307",
"max_tokens": 3000,
"messages": [
{
"role": "user",
"content": "Aqui estão as postagens dentro das tags XML \u003cinput\u003e\u003c/input\u003e:\n\n\u003cinput\u003e1) user1 disse: Eu amo segundas-feiras 2) user2 disse: Eu odeio segundas-feiras\u003c/input\u003e\n\nGere um resumo conciso e coerente do texto acima, mantendo o idioma original."
},
{
"role": "assistant",
"content": "Dois usuários estão compartilhando seus sentimentos sobre as segundas-feiras. [user1](/t/-/11772/1) as odeia, enquanto [user2](/t/-/11772/2) as ama."
},
{
"role": "user",
"content": "O título da discussão é: [redacted].\n\nAqui estão as postagens, dentro das tags XML \u003cinput\u003e[redacted]\u003c/input\u003e:\n\n\u003cinput\u003e\u003c/input\u003e\n\nGere um resumo conciso e coerente do texto acima, mantendo o idioma original."
}
],
"system": "Você é um bot avançado de sumarização que gera resumos concisos e coerentes do texto fornecido.\n\n- Inclua apenas o resumo, sem comentários adicionais.\n- Você entende e gera Markdown do fórum Discourse; incluindo links, _itálico_, **negrito**.\n- Mantenha o idioma original do texto que está sendo resumido.\n- Procure que os resumos tenham 400 palavras ou menos.\n- Cada postagem é formatada como \"\\u003cPOST_NUMBER\\u003e) \\u003cUSERNAME\\u003e \\u003cMESSAGE\\u003e\"\n- Cite postagens específicas notáveis usando o formato [NOME](/t/-/11772/POST_NUMBER)\n - Exemplo: link para a 3ª postagem de sam: [sam](/t/-/11772/3)\n - Exemplo: link para a 6ª postagem de jane: [concordou com](/t/-/11772/6)\n - Exemplo: link para a 13ª postagem de joe: [#13](/t/-/11772/13)\n- Ao formatar nomes de usuário, use @USERNAME OU [USERNAME](/t/-/11772/POST_NUMBER)\""
}
Resposta de ai_api_audit_logs:
{
"id": "msg_01QPVSmg93tu21WtPUvoNZ33",
"type": "message",
"role": "assistant",
"model": "claude-3-haiku-20240307",
"content": [
{
"type": "text",
"text": "Resumo:\n\nDois usuários estão compartilhando seus sentimentos sobre as segundas-feiras. [user1](/t/-/11772/1) as ama, enquanto [user2](/t/-/11772/2) as odeia."
}
],
"stop_reason": "end_turn",
"stop_sequence": null,
"usage": {
"input_tokens": 7298,
"output_tokens": 49
}
}
Clicar no botão Resumir exibe isto:
Isso significaria que eles estão retornando uma resposta 200 quando você atinge um limite de taxa em vez de um 429.
Este seria um bug na API deles. Você pode abrir um relatório de bug lá?
Eles querem o tráfego de rede incluindo os cabeçalhos. Não vejo como posso obter isso do meu navegador, seja clicando no botão Resumir ou acionando o trabalho do sidekiq.
Não registramos isso, você precisaria reproduzir a emissão de um cURL do seu servidor e encaminhar isso.
Você também pode fornecer a eles msg_01QPVSmg93tu21WtPUvoNZ33, eles podem procurar isso diretamente em seus logs.
Alguma notícia da Anthropic com o ID de solicitação fornecido por Sam @markschmucker?
Se você ainda estiver com limite de taxa, talvez tente reduzir pela metade o tamanho do lote de preenchimento.
Eles não têm um sistema de tickets de suporte típico - em vez disso, você fala com um bot. Relatei o problema ao bot, incluindo o ID da mensagem que @sam forneceu. O bot ficou convencido e prometeu repassá-lo a um humano, e me enviar um e-mail quando houvesse uma nova atualização. Nenhum e-mail ainda.
Hoje recebi uma mensagem de chat da Anthropic, simplesmente perguntando se ainda está acontecendo. Está. Sem mais comentários. Experiência frustrante.
Resposta da Anthropic:
Olá,
Infelizmente, não estou reproduzindo este erro no momento.
Atenciosamente,
Ryan
Não vejo como posso avançar mais. Eu poderia criar meu próprio teste com cURL, mas suspeito que não seria uma replicação precisa do que o Discourse está fazendo.
O Discourse faz as mesmas chamadas HTTP que o cURL fará, então é possível reproduzir com 100% de fidelidade.
Dito isso, é bem sabido que a Anthropic está tendo dificuldades para acompanhar a crescente demanda, então pode ser mais fácil procurar usar o Claude via AWS ou Google Cloud, ou até mesmo experimentar o Gemini ou outras APIs de LLM.