Si je change le LLM, tous les messages sont-ils retraduits ?
J’utilisais un LLM hébergé sur Groq ; il était à environ 95 % d’achèvement lorsque j’ai commencé à rencontrer des erreurs. Après enquête, j’ai réalisé que Groq avait déprécié le modèle que j’utilisais. J’ai donc configuré un nouveau modèle sur Groq, puis mis à jour les paramètres du modèle dans Discourse.
Je constate que Discourse utilise désormais des millions de jetons chaque jour avec le LLM de traduction mis à jour, mais la barre de progression sur la page d’état des traductions n’avance pas du tout (elle reste bloquée à 95 %).
Je cherche donc à comprendre ce qui se passe lorsque les paramètres du LLM changent. Les traductions repartent-elles de zéro ? Si oui, existe-t-il un moyen d’empêcher cela et de reprendre là où on s’était arrêté ?
Cela dépend, par exemple, si vous traduisez en utilisant un modèle Gemini puis que vous passez à un autre, vous créerez un nouveau cache de mots. D’après mon expérience, je préfère maintenir trois routes : deux avec le même modèle, et j’ai maintenant activé un Gemini Flash Lite pour les nouveaux contenus, jusqu’ici sans problème.
Chaque jour, le LLM consomme des millions de jetons pour les traductions (il atteint la limite quotidienne de l’API), mais il n’y a aucune progression dans les statistiques de traduction (0 traduction incrémentale). Voir les captures d’écran.
D’accord, j’ai activé le débogage de la traduction IA depuis la console Rails en exécutant SiteSettings.ai_translation_verbose_logs = true. Depuis deux jours, je vois ceci dans la page des journaux d’erreurs /logs.
DiscourseAi::Translation : Échec de la traduction du sujet 5898 vers zh_TW : {“error”:{“message”:"Limite de taux atteinte pour le modèle openai/gpt-oss-120b dans l’organisation org_01kccx1baz5sXXX, niveau de service on_demand, en termes de jetons par jour (TPD) : Limite 200000, Utilisé 193366, Demandé 7514. Veuillez réessayer dans 6m20.16s.
Le même sujet continue d’épuiser toute la limite quotidienne de jetons. Je ne comprends pas pourquoi un seul sujet serait bloqué dans une boucle ?
Quand vous parlez de « réflexion », voulez-vous dire « vision » ? Je ne vois aucune case à cocher ou option pour la réflexion sur la page de configuration de LLM dans Discourse.
Je me demande quel impact cela aurait sur les traductions ?
Cela reste bloqué sur cette page depuis une semaine maintenant, consommant tous les jetons quotidiens :
DiscourseAi::Translation : Échec de la traduction du sujet 5898 vers fr : {“error”:{“message”:“Limite de taux atteinte pour le modèle openai/gpt-oss-120b dans l’organisation org_01kccx1be8fffaz5sbe17, niveau de service on_demand, en termes de jetons par jour (TPD) : Limite 200000, Utilisé 197080, Demandé 7512. Veuillez réessayer dans 33m3.744s.”
@Falco si je définis l’effort de raisonnement sur « aucun », j’obtiens cette erreur :
DiscourseAi::Translation : Échec de la traduction du sujet 5898 vers le fr : {“error”:{“message”:“reasoning_effort doit être l’une des valeurs suivantes : low, medium ou high”,“type”:“invalid_request_error”}}
Ça fait donc environ 24 heures, et je ne vois aucune traduction apparaître dans les journaux, ni d’erreurs, ni de succès au cours des dernières 24 heures.
Cependant, le tableau de bord indique que les traductions sont incomplètes.
J’ai essayé de désactiver puis de réactiver l’interrupteur des traductions automatiques, mais cela n’a rien changé.
Lorsque j’examine le planificateur Sidekiq, je ne vois que cette unique tâche liée aux traductions :
J’ai essayé de la déclencher manuellement, mais aucune progression n’a été constatée dans les traductions et aucun error n’apparaît dans les journaux non plus.
D’après ce dont je me souviens en ayant débogué un problème similaire pour un client, on ne peut tout simplement pas utiliser un modèle de réflexion pour la détection de la locale.
Nous n’utilisons pas de sorties structurées dans ce cas, ce qui signifie que nous sommes très sensibles à la façon dont la sortie est générée. Les blocs de réflexion les brisent 100 % du temps, et sans détection de la locale, la traduction reste toujours bloquée.
