Je reçois la conversation « Lundis » dans mes résumés :
Je l’ai vu dans mes journaux - il semble que cela aide le modèle à interpréter le format ? Mais cela ne devrait pas être visible par les utilisateurs.
Ce comportement a commencé après avoir modifié deux choses :
ai_summaries avec AiSummary.destroy_all. Peut-être que cela n’est pas suffisant ?Est-ce que tous les résumés sont comme ça après être passé à Claude Haiku 3.5 ?
Non, environ la moitié - environ 5 sur 10 résumés générés. J’ai essayé de revenir à sonnet pour voir si cela résout le problème, mais je rencontre des limites de débit, donc cela pourrait prendre un certain temps pour caractériser.
Pouvez-vous vérifier la requête et la réponse complètes de l’API d’un sujet où cela s’est produit et me les partager ? Elles se trouveront dans la table ai_api_audit_logs.
Pas pour le moment, malheureusement. Mais j’ai examiné cela plus tôt et j’ai trouvé que la réponse à ce sujet était un résumé valide sans mention des lundis. Y a-t-il un moyen qu’elle puisse être confondue après la réponse ? Si rien ne vous vient à l’esprit, je vous donnerai un exemple plus définitif dans les prochains jours.
Notre journalisation dans ai_api_audit_logs est garantie, toutes les réponses réussies y sont enregistrées et vous devriez voir l’intégralité de l’invite. Y a-t-il un moyen pour vous d’exécuter l’explorateur de données et de regarder le contenu de la table ?
Je ressens les lundis lorsque j’atteins une limite de débit chez Anthropic, du moins avec haiku. Je peux essayer de corriger la limite de débit, mais il serait bon d’échouer et de ne pas afficher les lundis.
/logs :
Job exception: {"type":"error","error":{"type":"rate_limit_error","message":"Le nombre de jetons de requête a dépassé votre limite de débit par minute (https://docs.anthropic.com/en/api/rate-limits) ; consultez les en-têtes de réponse pour connaître l'utilisation actuelle. Veuillez réduire la longueur de l'invite ou le nombre maximal de jetons demandés, ou réessayer plus tard. Vous pouvez également contacter le service commercial à l'adresse https://www.anthropic.com/contact-sales pour discuter des options d'augmentation de votre limite de débit."}}
Requête provenant de ai_api_audit_logs. J’ai masqué le contenu réel de l’utilisateur :
{
"model": "claude-3-haiku-20240307",
"max_tokens": 3000,
"messages": [
{
"role": "user",
"content": "Voici les publications dans des balises XML \u003cinput\u003e\u003c/input\u003e :\n\n\u003cinput\u003e1) user1 a dit : J'adore les lundis 2) user2 a dit : Je déteste les lundis\u003c/input\u003e\n\nGénère un résumé concis et cohérent du texte ci-dessus en conservant la langue d'origine."
},
{
"role": "assistant",
"content": "Deux utilisateurs partagent leurs sentiments à l'égard des lundis. [user1](/t/-/11772/1) les déteste, tandis que [user2](/t/-/11772/2) les aime."
},
{
"role": "user",
"content": "Le titre de la discussion est : [redacted].\n\nVoici les publications, dans des balises XML \u003cinput\u003e[redacted]\u003c/input\u003e :\n\n\u003cinput\u003e\u003c/input\u003e\n\nGénère un résumé concis et cohérent du texte ci-dessus en conservant la langue d'origine."
}
],
"system": "Vous êtes un bot de résumé avancé qui génère des résumés concis et cohérents du texte fourni.\n\n- N'incluez que le résumé, sans aucun commentaire supplémentaire.\n- Vous comprenez et générez le Markdown du forum Discourse ; y compris les liens, _les italiques_, **les gras**.\n- Conservez la langue d'origine du texte résumé.\n- Visez des résumés de 400 mots ou moins.\n- Chaque publication est formatée comme \"\u003cNUMÉRO_DE_PUBLICATION\u003e) \u003cNOM_D_UTILISATEUR\u003e \u003cMESSAGE\u003e\"\n- Citez les publications spécifiques notables en utilisant le format [NOM](/t/-/11772/NUMÉRO_DE_PUBLICATION)\n - Exemple : lien vers la 3e publication de sam : [sam](/t/-/11772/3)\n - Exemple : lien vers la 6e publication de jane : [d'accord avec](/t/-/11772/6)\n - Exemple : lien vers la 13e publication de joe : [#13](/t/-/11772/13)\n- Lors du formatage des noms d'utilisateur, utilisez soit @NOM_D_UTILISATEUR, soit [NOM_D_UTILISATEUR](/t/-/11772/NUMÉRO_DE_PUBLICATION)\"
}
Réponse de ai_api_audit_logs :
{
"id": "msg_01QPVSmg93tu21WtPUvoNZ33",
"type": "message",
"role": "assistant",
"model": "claude-3-haiku-20240307",
"content": [
{
"type": "text",
"text": "Résumé :\n\nDeux utilisateurs partagent leurs sentiments à l'égard des lundis. [user1](/t/-/11772/1) les aime, tandis que [user2](/t/-/11772/2) les déteste."
}
],
"stop_reason": "end_turn",
"stop_sequence": null,
"usage": {
"input_tokens": 7298,
"output_tokens": 49
}
}
Cliquer sur le bouton Résumer affiche ceci :
Cela signifierait qu’ils renvoient une réponse 200 lorsque vous atteignez une limite de débit au lieu d’un 429.
Ce serait un bug de leur API. Pouvez-vous ouvrir un rapport de bug là-bas ?
Ils veulent le trafic réseau, y compris les en-têtes. Je ne vois pas comment je peux obtenir cela de mon navigateur, que ce soit en appuyant sur le bouton Résumer ou en déclenchant le travail sidekiq.
Nous n’enregistrons pas cela, vous devrez reproduire l’émission d’un cURL depuis votre serveur et transmettre cela.
Vous pouvez également leur fournir msg_01QPVSmg93tu21WtPUvoNZ33, ils pourront le rechercher directement dans leurs journaux.
Des nouvelles d’Anthropic concernant l’ID de requête fourni par Sam @markschmucker ?
Si vous êtes toujours limité par le débit, essayez peut-être de réduire de moitié la taille du lot de remplissage.
Ils n’ont pas de système de tickets de support typique - à la place, vous parlez à un bot. J’ai signalé le problème au bot, y compris l’ID du message que @sam a fourni. Le bot a été convaincu et a promis de le transmettre à un humain, et de m’envoyer un e-mail lorsqu’il y aurait un nouveau statut. Pas encore d’e-mails.
Aujourd’hui, j’ai reçu un message de chat d’Anthropic, me demandant simplement si cela se produisait toujours. C’est le cas. Aucun autre commentaire. Expérience frustrante.
Réponse d’Anthropic :
Salut,
Malheureusement, je ne reproduis pas cette erreur pour le moment.
Cordialement,
Ryan
Je ne vois pas comment je peux faire avancer cela davantage. Je pourrais créer mon propre test avec cURL, mais je soupçonne que ce ne serait pas une réplication fidèle de ce que fait Discourse.
Discourse effectue les mêmes appels HTTP que cURL, il est donc possible de reproduire avec 100 % de fidélité.
Cela dit, il est bien connu qu’Anthropic a du mal à répondre à la demande croissante, il peut donc être plus facile de comparer soit en utilisant Claude via AWS ou Google Cloud, soit même d’essayer Gemini ou d’autres API LLM.