Hola, ¿has seguido estas recomendaciones?
El gráfico de uso definitivamente parece preocupante. ¿Puedes probar esta consulta de explorador de datos?
SELECT
a.id,
a.language_model,
LENGTH(p.raw) as raw_length,
a.response_tokens,
a.raw_request_payload,
a.raw_response_payload,
a.topic_id,
a.post_id
FROM ai_api_audit_logs a
LEFT JOIN posts p ON p.id = a.post_id AND p.deleted_at IS NULL
LEFT JOIN topics t ON t.id = a.topic_id AND t.deleted_at IS NULL
WHERE a.created_at > CURRENT_DATE - INTERVAL '1 days'
AND p.deleted_at IS NULL
AND t.deleted_at IS NULL
AND p.user_deleted = false
AND a.feature_name = 'translation'
AND LENGTH(p.raw) < 1000
AND a.response_tokens > 10000
ORDER BY a.created_at DESC
LIMIT 100
La consulta debería mostrarte el número de tokens de respuesta utilizados en función de la longitud del texto sin formato de la publicación. Lo ideal es que veas un número similar, no más de 1.5 veces los tokens. El AiApiAuditLog te ayudará a determinar qué está sucediendo.
Además, por favor comparte:
- ¿Qué modelo estás utilizando?
- ¿Cuál es tu tasa de relleno por hora? Sugiero mantenerla en un valor bajo, como 50 para empezar.
- ¿Cuántos idiomas estás soportando? ¿Tu modelo seleccionado los soporta?