Если я изменю LLM, будут ли все посты переведены заново?
Я использовал LLM, размещённый на Groq. Когда он был выполнен примерно на 95%, у меня начали возникать ошибки. После расследования я понял, что Groq устарел модель, которую я использовал. Поэтому я настроил новую модель в Groq и обновил параметры модели в Discourse.
Я вижу, что Discourse теперь использует миллионы токенов с обновлённой моделью перевода каждый день, но индикатор прогресса на странице статуса переводов не продвигается (всё ещё застрял на 95%).
Поэтому я пытаюсь понять, что происходит при изменении параметров LLM? Начинает ли он переводы заново с самого начала? Если да, то есть ли способ предотвратить это и продолжить с того места, где он остановился?
Зависит, например, от того, если вы переводите с использованием модели Gemini, а затем переключаетесь на другую, вы создадите новый кэш слов. По моему опыту, я предпочитаю держать три маршрута: два с одной и той же моделью, а недавно я активировал Gemini Flash Lite для нового контента, и до сих пор проблем не возникало.
Что я могу сделать, чтобы проверить, что происходит?
Каждый день LLM потребляет миллионы токенов для переводов (достигает дневного лимита для API), но в статистике переводов нет никакого прогресса (0 инкрементальных переводов). См. скриншоты.
Хорошо, я включил отладку перевода с помощью ИИ из консоли Rails, выполнив SiteSettings.ai_translation_verbose_logs = true, и уже два дня вижу это на странице логов ошибок в /logs.
DiscourseAi::Translation: Не удалось перевести тему 5898 на язык zh_TW: {“error”:{“message”:"Достигнут лимит запросов для модели openai/gpt-oss-120b в организации org_01kccx1baz5sXXX на уровне обслуживания on_demand по количеству токенов в день (TPD): Лимит 200000, Использовано 193366, Запрошено 7514. Пожалуйста, попробуйте снова через 6 минут 20,16 секунды.
Одна и та же тема продолжает обрабатываться, расходуя весь ежедневный лимит токенов. Я не понимаю, почему одна тема может застрять в цикле?
DiscourseAi::Translation: Не удалось перевести тему 5898 на fr: {“error”:{“message”:“Достигнут лимит запросов для модели openai/gpt-oss-120b в организации org_01kccx1be8fffaz5sbe17 в тарифном плане on_demand по количеству токенов в день (TPD): лимит 200000, использовано 197080, запрошено 7512. Пожалуйста, повторите попытку через 33 минуты 3,744 секунды.”}
@Falco если я установлю усилие рассуждения в «none», я получаю эту ошибку:
DiscourseAi::Translation: Не удалось перевести тему 5898 на fr: {“error”:{“message”:“reasoning_effort должно быть одним из low, medium или high”,“type”:“invalid_request_error”}}
Насколько я помню, при отладке подобной проблемы для клиента выяснилось, что использовать модель с механизмом «мышления» для определения локали невозможно.
Мы не используем структурированный вывод, поэтому крайне зависим от формата результата. Блоки с рассуждениями ломают его в 100 % случаев, и без определения локали перевод всегда застревает.
