Ciao, hai seguito queste raccomandazioni?
Il grafico di utilizzo è decisamente preoccupante. Puoi provare questa query del data explorer:
SELECT
a.id,
a.language_model,
LENGTH(p.raw) as raw_length,
a.response_tokens,
a.raw_request_payload,
a.raw_response_payload,
a.topic_id,
a.post_id
FROM ai_api_audit_logs a
LEFT JOIN posts p ON p.id = a.post_id AND p.deleted_at IS NULL
LEFT JOIN topics t ON t.id = a.topic_id AND t.deleted_at IS NULL
WHERE a.created_at > CURRENT_DATE - INTERVAL '1 days'
AND p.deleted_at IS NULL
AND t.deleted_at IS NULL
AND p.user_deleted = false
AND a.feature_name = 'translation'
AND LENGTH(p.raw) < 1000
AND a.response_tokens > 10000
ORDER BY a.created_at DESC
LIMIT 100
La query dovrebbe mostrarti il numero di token di risposta utilizzati in base alla lunghezza grezza del post. Idealmente dovresti vedere un numero simile, non superiore a 1,5 volte i token. AiApiAuditLog aiuterà a determinare cosa sta succedendo.
Inoltre, per favore condividi:
- Quale modello stai usando?
- Qual è il tuo tasso di backfill orario? Suggerisco di mantenerlo a un valore basso, come 50 per iniziare.
- Quante lingue stai supportando? Il tuo modello selezionato le supporta?