Seguí el tutorial oficial para configurar Discourse AI para la traducción y lo configuré para traducir todas las publicaciones anteriores durante un período de días. De hecho, esto resultó en una cantidad sustancial de tokens de entrada y salida. Sin embargo, después de dos días, me encontré con una situación en la que solo se estaban procesando tokens de entrada sin ninguna salida. No estoy seguro de la causa, ¿podría ser que todas las publicaciones anteriores ya se hayan traducido? Si es así, ¿qué medidas puedo tomar para reducir la entrada de tokens y así conservar costos?
Hola, ¿has seguido estas recomendaciones?
El gráfico de uso definitivamente parece preocupante. ¿Puedes probar esta consulta de explorador de datos?
SELECT
a.id,
a.language_model,
LENGTH(p.raw) as raw_length,
a.response_tokens,
a.raw_request_payload,
a.raw_response_payload,
a.topic_id,
a.post_id
FROM ai_api_audit_logs a
LEFT JOIN posts p ON p.id = a.post_id AND p.deleted_at IS NULL
LEFT JOIN topics t ON t.id = a.topic_id AND t.deleted_at IS NULL
WHERE a.created_at > CURRENT_DATE - INTERVAL '1 days'
AND p.deleted_at IS NULL
AND t.deleted_at IS NULL
AND p.user_deleted = false
AND a.feature_name = 'translation'
AND LENGTH(p.raw) < 1000
AND a.response_tokens > 10000
ORDER BY a.created_at DESC
LIMIT 100
La consulta debería mostrarte el número de tokens de respuesta utilizados en función de la longitud del texto sin formato de la publicación. Lo ideal es que veas un número similar, no más de 1.5 veces los tokens. El AiApiAuditLog te ayudará a determinar qué está sucediendo.
Además, por favor comparte:
- ¿Qué modelo estás utilizando?
- ¿Cuál es tu tasa de relleno por hora? Sugiero mantenerla en un valor bajo, como 50 para empezar.
- ¿Cuántos idiomas estás soportando? ¿Tu modelo seleccionado los soporta?
He configurado GPT-4.1 Nano como el modelo de traducción. La tasa de retroalimentación por hora se estableció previamente en 1000, pero hoy la ajusté a 100. He habilitado el soporte tanto para japonés como para inglés, y este modelo efectivamente soporta estos idiomas.
Sí, 1000 probablemente no sea una buena idea y debería agregar un límite de configuración del sitio aquí.
No estoy seguro de cómo la API de OpenAI maneja ser golpeada unas 3000 veces por hora. Básicamente, para tu configuración, por publicación hacemos: 
detección de idioma, 
traducción al japonés, 
traducción al inglés. Si revisas /logs, sospecho que verás que tu sitio alcanza los límites de tasa.
Sugiero reducirlo aún más a 50 y ver cómo va.
Implementaremos una forma de ver el progreso de la traducción de todo el sitio también en un futuro cercano.
1 me gusta
Además, cuando ejecuto el comando de consulta que proporcionaste, la base de datos no devuelve ningún resultado. ¿Quizás es necesario algún tipo de personalización o modificación?
Hmm, esta consulta debería funcionar. ¿Tienes el plugin discourse-data-explorer?
Muy bien, lo intentaré primero. Gracias.
Lo instalaré después y lo intentaré de nuevo. Actualmente, reconstruir el foro no es factible porque los usuarios todavía lo están utilizando activamente.