Если я изменю LLM, будут ли все посты переведены заново?
Я использовал LLM, размещённый на Groq. Когда он был выполнен примерно на 95%, у меня начали возникать ошибки. После расследования я понял, что Groq устарел модель, которую я использовал. Поэтому я настроил новую модель в Groq и обновил параметры модели в Discourse.
Я вижу, что Discourse теперь использует миллионы токенов с обновлённой моделью перевода каждый день, но индикатор прогресса на странице статуса переводов не продвигается (всё ещё застрял на 95%).
Поэтому я пытаюсь понять, что происходит при изменении параметров LLM? Начинает ли он переводы заново с самого начала? Если да, то есть ли способ предотвратить это и продолжить с того места, где он остановился?
Зависит, например, от того, если вы переводите с использованием модели Gemini, а затем переключаетесь на другую, вы создадите новый кэш слов. По моему опыту, я предпочитаю держать три маршрута: два с одной и той же моделью, а недавно я активировал Gemini Flash Lite для нового контента, и до сих пор проблем не возникало.
Что я могу сделать, чтобы проверить, что происходит?
Каждый день LLM потребляет миллионы токенов для переводов (достигает дневного лимита для API), но в статистике переводов нет никакого прогресса (0 инкрементальных переводов). См. скриншоты.
Хорошо, я включил отладку перевода с помощью ИИ из консоли Rails, выполнив SiteSettings.ai_translation_verbose_logs = true, и уже два дня вижу это на странице логов ошибок в /logs.
DiscourseAi::Translation: Не удалось перевести тему 5898 на язык zh_TW: {“error”:{“message”:"Достигнут лимит запросов для модели openai/gpt-oss-120b в организации org_01kccx1baz5sXXX на уровне обслуживания on_demand по количеству токенов в день (TPD): Лимит 200000, Использовано 193366, Запрошено 7514. Пожалуйста, попробуйте снова через 6 минут 20,16 секунды.
Одна и та же тема продолжает обрабатываться, расходуя весь ежедневный лимит токенов. Я не понимаю, почему одна тема может застрять в цикле?
