J’ai suivi le tutoriel officiel pour configurer Discourse AI pour la traduction et je l’ai configuré pour traduire tous les messages passés sur une période de plusieurs jours. En effet, cela a entraîné une quantité substantielle de jetons d’entrée et de sortie. Cependant, après deux jours, j’ai rencontré une situation où seuls les jetons d’entrée étaient traités sans aucune sortie. Je ne suis pas sûr de la cause : est-ce que tous les messages précédents ont déjà été traduits ? Si oui, quelles mesures puis-je prendre pour réduire les entrées de jetons et ainsi économiser sur les coûts ?
Salut, avez-vous suivi ces recommandations ?
Le graphique d’utilisation semble définitivement préoccupant. Pouvez-vous essayer cette requête d’explorateur de données :
SELECT
a.id,
a.language_model,
LENGTH(p.raw) as raw_length,
a.response_tokens,
a.raw_request_payload,
a.raw_response_payload,
a.topic_id,
a.post_id
FROM ai_api_audit_logs a
LEFT JOIN posts p ON p.id = a.post_id AND p.deleted_at IS NULL
LEFT JOIN topics t ON t.id = a.topic_id AND t.deleted_at IS NULL
WHERE a.created_at > CURRENT_DATE - INTERVAL '1 days'
AND p.deleted_at IS NULL
AND t.deleted_at IS NULL
AND p.user_deleted = false
AND a.feature_name = 'translation'
AND LENGTH(p.raw) < 1000
AND a.response_tokens > 10000
ORDER BY a.created_at DESC
LIMIT 100
La requête devrait vous montrer le nombre de tokens de réponse utilisés en fonction de la longueur brute du message. Idéalement, vous devriez voir un nombre similaire, pas plus de 1,5 fois les tokens. L’AiApiAuditLog aidera à déterminer ce qui se passe.
Veuillez également partager,
- Quel modèle utilisez-vous ?
- Quel est votre taux de remplissage horaire ? Je suggère de le maintenir à une valeur faible, comme 50 pour commencer.
- Combien de langues supportez-vous ? Votre modèle sélectionné les supporte-t-il ?
J’ai configuré GPT-4.1 Nano comme modèle de traduction. Le taux de remplissage horaire était précédemment défini à 1 000, mais je l’ai ajusté aujourd’hui à 100. J’ai activé la prise en charge du japonais et de l’anglais, et ce modèle prend effectivement en charge ces langues.
Oui, 1000 n’est probablement pas une bonne idée et je devrais ajouter une limite de paramètres de site ici.
Je ne suis pas sûr de la façon dont l’API OpenAI gère le fait d’être sollicitée environ 3000 fois par heure. Essentiellement, pour votre configuration, par publication, nous effectuons :1 : détection de locale, :2 : traduction en japonais, :3 : traduction en anglais.
Je suggère de la baisser encore à 50 et de voir ce que cela donne.
Nous mettrons en œuvre prochainement un moyen de visualiser la progression de la traduction de l’ensemble du site.
1 « J'aime »
De plus, lorsque j’exécute la commande de requête que vous avez fournie, la base de données ne renvoie aucun résultat. Y a-t-il peut-être besoin d’une personnalisation ou d’une modification ?
Hmm cette requête devrait fonctionner. Avez-vous le plugin discourse-data-explorer ?
Très bien, je vais essayer d’abord. Merci.
Je l’installerai ensuite et j’essaierai à nouveau. Actuellement, reconstruire le forum n’est pas faisable car les utilisateurs l’utilisent activement.