Se eu alterar o LLM, todas as postagens serão retraduzidas?
Eu estava usando um LLM hospedado no Groq. Estava com cerca de 95% concluído quando comecei a receber erros. Após investigar, percebi que o Groq havia descontinuado o modelo que eu estava usando. Então, configurei um novo modelo no Groq e atualizei os parâmetros do modelo no Discourse.
Vejo que o Discourse agora está usando milhões de tokens com o LLM de tradução atualizado todos os dias, mas a barra de progresso na página de status das traduções não avança em nada (ainda travada em 95%).
Então, estou tentando entender o que acontece quando os parâmetros do LLM mudam. Ele inicia as traduções do zero novamente? Se sim, existe alguma maneira de impedir que isso aconteça e fazer com que ele retome exatamente de onde parou?
Depende, por exemplo, se você traduzir usando um modelo da Gemini e depois mudar pra um outro, você estará criando um novo cache de palavras, na minha experiencia eu preferir manter três rota, duas com o mesmo modelo e agora ativei um gemini flash lite pra novos conteúdos e até agora sem problemas.
O que posso fazer para verificar o que está acontecendo?
Todos os dias, o LLM consome milhões de tokens para traduções (atingindo o limite diário da API), mas não há nenhum progresso nas estatísticas de tradução (0 traduções incrementais). Veja as capturas de tela.
Certo, então ativei a depuração de tradução de IA pelo console do Rails com SiteSettings.ai_translation_verbose_logs = true e, nos últimos 2 dias, estou vendo isso na página de logs de erro em /logs.
DiscourseAi::Translation: Falha ao traduzir o tópico 5898 para zh_TW: {“error”:{“message”:"Limite de taxa atingido para o modelo openai/gpt-oss-120b na organização org_01kccx1baz5sXXX, nível de serviço on_demand, em tokens por dia (TPD): Limite 200000, Usado 193366, Solicitado 7514. Por favor, tente novamente em 6m20.16s.
O mesmo tópico está continuando e consumindo todo o limite diário de tokens. Não consigo entender por que um único tópico ficaria preso em um loop?
