Estoy recibiendo la conversación “Lunes” en mis resúmenes:
Lo he visto en mis registros; parece que está destinado a ayudar al modelo a interpretar el formato. Pero no debería ser visible para los usuarios.
Este comportamiento comenzó después de cambiar dos cosas:
ai_summaries con AiSummary.destroy_all. ¿Quizás esto no es suficiente?¿Cada resumen es así después de cambiar a Claude Haiku 3.5?
No, aproximadamente la mitad, unas 5 de cada 10 resúmenes generados. He intentado volver a sonnet para ver si eso lo soluciona, pero me estoy encontrando con límites de frecuencia, por lo que esto puede tardar un tiempo en caracterizarse.
¿Puedes revisar la solicitud y respuesta completas de la API de un tema en el que esto sucedió y compartirlo conmigo? Estará en la tabla ai_api_audit_logs.
Lamentablemente, no en este momento. Pero ya lo revisé y encontré que la respuesta para ese tema era un resumen válido sin mención de los lunes. ¿Hay alguna forma en que pueda confundirse después de la respuesta? Si no se te ocurre nada, te daré un ejemplo más definitivo en los próximos días.
Nuestro registro en ai_api_audit_logs está garantizado, todas las respuestas exitosas se registran allí y deberías ver el prompt completo. ¿Hay alguna forma en que puedas ejecutar el explorador de datos y ver el contenido de la tabla?
Me dan los lunes cuando alcanzo un límite de tasa en Anthropic, al menos con haiku. Puedo intentar solucionar el límite de tasa, pero sería bueno que fallara y no mostrara los lunes.
/logs:
Job exception: {"type":"error","error":{"type":"rate_limit_error","message":"Number of request tokens has exceeded your per-minute rate limit (https://docs.anthropic.com/en/api/rate-limits); see the response headers for current usage. Please reduce the prompt length or the maximum tokens requested, or try again later. You may also contact sales at https://www.anthropic.com/contact-sales to discuss your options for a rate limit increase."}}
Solicitud de ai_api_audit_logs. He redactado el contenido real del usuario:
{
"model": "claude-3-haiku-20240307",
"max_tokens": 3000,
"messages": [
{
"role": "user",
"content": "Aquí están las publicaciones dentro de las etiquetas XML \u003cinput\u003e\u003c/input\u003e:\n\n\u003cinput\u003e1) user1 dijo: Me encantan los lunes 2) user2 dijo: Odio los lunes\u003c/input\u003e\n\nGenera un resumen conciso y coherente del texto anterior manteniendo el idioma original."
},
{
"role": "assistant",
"content": "Dos usuarios están compartiendo sus sentimientos sobre los lunes. [user1](/t/-/11772/1) los odia, mientras que [user2](/t/-/11772/2) los ama."
},
{
"role": "user",
"content": "El título de la discusión es: [redactado].\n\nAquí están las publicaciones, dentro de las etiquetas XML \u003cinput\u003e[redactado]\u003c/input\u003e:\n\n\u003cinput\u003e\u003c/input\u003e\n\nGenera un resumen conciso y coherente del texto anterior manteniendo el idioma original."
}
],
"system": "Eres un bot de resumen avanzado que genera resúmenes concisos y coherentes del texto proporcionado.\n\n- Solo incluye el resumen, sin comentarios adicionales.\n- Entiendes y generas Markdown de foros de Discourse; incluyendo enlaces, _itálicas_, **negrita**.\n- Mantén el idioma original del texto que se resume.\n- Intenta que los resúmenes tengan 400 palabras o menos.\n- Cada publicación tiene el formato \"\u003cPOST_NUMBER\u003e) \u003cUSERNAME\u003e \u003cMESSAGE\u003e\"\n- Cita publicaciones específicas notables usando el formato [NOMBRE](/t/-/11772/POST_NUMBER)\n - Ejemplo: enlace a la tercera publicación de sam: [sam](/t/-/11772/3)\n - Ejemplo: enlace a la sexta publicación de jane: [de acuerdo con](/t/-/11772/6)\n - Ejemplo: enlace a la decimotercera publicación de joe: [#13](/t/-/11772/13)\n- Al formatear nombres de usuario, usa @NOMBREDEUSUARIO o [NOMBREDEUSUARIO](/t/-/11772/POST_NUMBER)\""
}
Respuesta de ai_api_audit_logs:
{
"id": "msg_01QPVSmg93tu21WtPUvoNZ33",
"type": "message",
"role": "assistant",
"model": "claude-3-haiku-20240307",
"content": [
{
"type": "text",
"text": "Resumen:\n\nDos usuarios están compartiendo sus sentimientos sobre los lunes. [user1](/t/-/11772/1) los ama, mientras que [user2](/t/-/11772/2) los odia."
}
],
"stop_reason": "end_turn",
"stop_sequence": null,
"usage": {
"input_tokens": 7298,
"output_tokens": 49
}
}
Al hacer clic en el botón Resumir se muestra esto:
Eso significaría que están devolviendo una respuesta 200 cuando alcanzas un límite de tasa en lugar de una 429.
Este sería un error en su API. ¿Puedes abrir un informe de error allí?
Quieren el tráfico de red, incluidos los encabezados. No veo cómo puedo obtener eso de mi navegador, ya sea al presionar el botón Resumir o al activar el trabajo de sidekiq.
Eso no lo registramos, necesitarías reproducir la emisión de un cURL desde tu servidor y transmitirlo.
También puedes proporcionarles msg_01QPVSmg93tu21WtPUvoNZ33 para que puedan buscarlo directamente en sus registros.
¿Alguna noticia de Anthropic dado el ID de solicitud proporcionado por Sam @markschmucker?
Si todavía tienes limitaciones de velocidad, quizás intenta reducir a la mitad el tamaño del lote de relleno.
No tienen un sistema de tickets de soporte típico; en su lugar, hablas con un bot. Informé el problema al bot, incluido el ID del mensaje que proporcionó @sam. El bot estaba convencido y prometió pasarlo a un humano, y enviarme un correo electrónico cuando hubiera un nuevo estado. Aún no he recibido correos electrónicos.
Hoy recibí un mensaje de chat de Anthropic, preguntando simplemente si todavía está sucediendo. Lo está. Sin más comentarios. Experiencia frustrante.
Respuesta de Anthropic:
Hola,
Lamentablemente, no estoy reproduciendo este error en este momento.
Saludos,
Ryan
No veo cómo puedo avanzar más en esto. Podría crear mi propia prueba con cURL, pero sospecho que no sería una réplica precisa de lo que está haciendo Discourse.
Discourse realiza las mismas llamadas HTTP que cURL, por lo que es posible reproducirlo con un 100% de fidelidad.
Dicho esto, es bien sabido que Anthropic tiene dificultades para mantenerse al día con la creciente demanda, por lo que puede ser más fácil buscar usar Claude a través de AWS o Google Cloud, o incluso probar Gemini u otras API de LLM.