Le problème d'utilisation après l'utilisation de la traduction IA

[nat (Natalie T)]

Salut, avez-vous suivi ces recommandations ?

@nat

Pour couvrir certains paramètres et recommandations importants :

• AI translation model - Nous vous recommandons vivement de définir un quota pour le LLM que vous choisissez pour le modèle de traduction.
• AI translation backfill hourly rate - ce paramètre est masqué dans l’interface utilisateur et sa valeur par défaut est 0. La traduction automatique ne commencera pas si cette valeur est de 0. En supposant que le taux est de 50, votre site traduira 50 messages, 50 sujets et 50 catégories par heure, vers les locales que vous avez définies dans Content localization supported locales. Gardez ce nombre bas lorsque vous commencez.
• AI translation backfill max age days - la valeur par défaut est 5. Cela signifie que les sujets et les messages plus anciens que 5 jours ne seront pas traduits. Vous pouvez augmenter ce nombre pour traduire tous les sujets et messages.

Le graphique d’utilisation semble définitivement préoccupant. Pouvez-vous essayer cette requête d’explorateur de données :

SELECT 
  a.id,
  a.language_model,
  LENGTH(p.raw) as raw_length,
  a.response_tokens,
  a.raw_request_payload,
  a.raw_response_payload,
  a.topic_id,
  a.post_id
FROM ai_api_audit_logs a
LEFT JOIN posts p ON p.id = a.post_id AND p.deleted_at IS NULL
LEFT JOIN topics t ON t.id = a.topic_id AND t.deleted_at IS NULL
WHERE a.created_at > CURRENT_DATE - INTERVAL '1 days'
AND p.deleted_at IS NULL
AND t.deleted_at IS NULL
AND p.user_deleted = false
AND a.feature_name = 'translation'
AND LENGTH(p.raw) < 1000
AND a.response_tokens > 10000
ORDER BY a.created_at DESC
LIMIT 100

La requête devrait vous montrer le nombre de tokens de réponse utilisés en fonction de la longueur brute du message. Idéalement, vous devriez voir un nombre similaire, pas plus de 1,5 fois les tokens. L’AiApiAuditLog aidera à déterminer ce qui se passe.

Veuillez également partager,

• Quel modèle utilisez-vous ?
• Quel est votre taux de remplissage horaire ? Je suggère de le maintenir à une valeur faible, comme 50 pour commencer.
• Combien de langues supportez-vous ? Votre modèle sélectionné les supporte-t-il ?