Si je change le LLM, tous les messages sont-ils retraduits ?
J’utilisais un LLM hébergé sur Groq ; il était à environ 95 % d’achèvement lorsque j’ai commencé à rencontrer des erreurs. Après enquête, j’ai réalisé que Groq avait déprécié le modèle que j’utilisais. J’ai donc configuré un nouveau modèle sur Groq, puis mis à jour les paramètres du modèle dans Discourse.
Je constate que Discourse utilise désormais des millions de jetons chaque jour avec le LLM de traduction mis à jour, mais la barre de progression sur la page d’état des traductions n’avance pas du tout (elle reste bloquée à 95 %).
Je cherche donc à comprendre ce qui se passe lorsque les paramètres du LLM changent. Les traductions repartent-elles de zéro ? Si oui, existe-t-il un moyen d’empêcher cela et de reprendre là où on s’était arrêté ?
Cela dépend, par exemple, si vous traduisez en utilisant un modèle Gemini puis que vous passez à un autre, vous créerez un nouveau cache de mots. D’après mon expérience, je préfère maintenir trois routes : deux avec le même modèle, et j’ai maintenant activé un Gemini Flash Lite pour les nouveaux contenus, jusqu’ici sans problème.
Chaque jour, le LLM consomme des millions de jetons pour les traductions (il atteint la limite quotidienne de l’API), mais il n’y a aucune progression dans les statistiques de traduction (0 traduction incrémentale). Voir les captures d’écran.
D’accord, j’ai activé le débogage de la traduction IA depuis la console Rails en exécutant SiteSettings.ai_translation_verbose_logs = true. Depuis deux jours, je vois ceci dans la page des journaux d’erreurs /logs.
DiscourseAi::Translation : Échec de la traduction du sujet 5898 vers zh_TW : {“error”:{“message”:"Limite de taux atteinte pour le modèle openai/gpt-oss-120b dans l’organisation org_01kccx1baz5sXXX, niveau de service on_demand, en termes de jetons par jour (TPD) : Limite 200000, Utilisé 193366, Demandé 7514. Veuillez réessayer dans 6m20.16s.
Le même sujet continue d’épuiser toute la limite quotidienne de jetons. Je ne comprends pas pourquoi un seul sujet serait bloqué dans une boucle ?
