LLM가 변경되면 번역은 어떻게 되나요?

지원
1

LLM을 변경하면 모든 게시물이 다시 번역되나요?

저는 groq에 호스팅된 LLM을 사용 중이었으며, 오류가 발생하기 시작했을 때 약 95%까지 진행되어 있었습니다. 조사해 보니 groq에서 제가 사용하던 모델이 비추천(deprecated) 처리되었음을 알게 되었습니다. 그래서 groq에서 새 모델을 설정하고 discourse에서 모델 매개변수를 업데이트했습니다.

discourse가 업데이트된 번역 LLM으로 매일 수백만 개의 토큰을 사용하고 있음에도 불구하고, 번역 상태 페이지의 진행률 표시줄은 전혀 진행되지 않고 있습니다(여전히 95%에 멈춰 있음).

그래서 LLM 매개변수가 변경될 때 어떤 일이 일어나는지 알아보고 있습니다. 처음부터 모든 번역을 다시 시작하나요? 그렇다면 처음부터 다시 하는 것을 방지하고 중단된 곳에서 이어서 진행할 수 있는 방법이 있을까요?

2

예를 들어, Gemini 모델로 번역을 한 후 다른 모델로 전환하면 새로운 단어 캐시가 생성됩니다. 제 경험상, 저는 세 가지 라우트를 유지하는 것을 선호합니다. 두 개는 동일한 모델을 사용하고, 이제 새로운 콘텐츠에는 Gemini Flash Lite를 활성화했는데, 지금까지 문제가 없었습니다.

3

기존 번역은 유지되며, 새로운 LLM은 아직 번역되지 않은 부분만 번역합니다.

4

무엇을 하면 상황을 확인할 수 있을까요?

매일 LLM이 번역을 위해 수백만 개의 토큰을 소비하고 있습니다(API의 일일 한도에 도달하고 있지만) 번역 통계에는 0의 진행률(증분 번역 0건)이 표시됩니다. 스크린샷을 참조하세요.

IMG_2422
IMG_24221170×1824 111 KB

IMG_2420
IMG_24201170×1762 173 KB

5

상세 로그를 활성화하고 ai API 감사 로그 테이블의 마지막 항목을 확인하세요.

6

네, rails 콘솔에서 SiteSettings. ai_translation_verbose_logs = true를 설정하여 AI 번역 디버깅을 켜고, 지난 2일 동안 /logs 오류 로그 페이지에서 이 메시지를 계속 확인하고 있습니다.

DiscourseAi::Translation: Failed to translate topic 5898 to zh_TW: {“error”:{“message”:"Rate limit reached for model openai/gpt-oss-120b in organization org_01kccx1baz5sXXX service tier on_demand on tokens per day (TPD): Limit 200000, Used 193366, Requested 7514. Please try again in 6m20.16s.

해당 토픽이 매일의 토큰 한도를 계속 소진하고 있습니다. 왜 하나의 토픽이 루프에 갇혀 이런 현상이 발생하는지 이해가 되지 않습니다.

7

이 LLM에서 추론(thinking) 기능을 비활성화했나요? 그렇게 해보세요.

8

‘생각’이라고 말씀하셨을 때, ‘비전(Vision)’을 의미하신 건가요? Discourse의 LLM 설정 페이지에서 ‘생각’에 대한 체크박스나 옵션을 찾을 수 없습니다.

번역에 어떤 영향을 미칠지 궁금합니다.

지난 1주일 동안 이 페이지에 멈춰 있어 매일의 토큰을 모두 소모하고 있습니다:

Embedded Subtitles with MP4 Unprocessed - General Support / Questions - MCEBuddy

DiscourseAi::Translation: Failed to translate topic 5898 to fr: {“error”:{“message”:"Rate limit reached for model openai/gpt-oss-120b in organization org_01kccx1be8fffaz5sbe17 service tier on_demand on tokens per day (TPD): Limit 200000, Used 197080, Requested 7512. Please try again in 33m3.744s.

9

추론 노력(reasoning effort)을 말씀하시는 건가요, 아니면 비전(vision)을 말씀하시는 건가요?

IMG_2438
IMG_24381170×2089 215 KB

IMG_2439
IMG_24391170×1815 125 KB

10

@Falco 추론 노력을 'none’으로 설정하면 다음 오류가 발생합니다:

DiscourseAi::Translation: Failed to translate topic 5898 to fr: {“error”:{“message”:“reasoning_effort must be one of low, medium, or high”,“type”:“invalid_request_error”}}

어떤 설정을 말씀하시는 건가요?

11

지금 약 24시간이 지났는데, 로그에서 번역 관련 활동이 전혀 보이지 않습니다. 지난 24시간 동안 오류도, 성공 기록도 없습니다.

그러나 대시보드에서는 번역이 완료되지 않은 것으로 표시됩니다.

image
image1423×777 52.3 KB

자동 번역 토글을 비활성화했다가 다시 활성화해 보았지만, 아무런 변화가 없었습니다.

Sidekiq 스케줄러를 확인해 보면 번역과 관련된 작업은 아래 하나만 보입니다:
image

이 작업을 수동으로 트리거해 보았지만, 번역 진행 상황이 없었고 로그에도 오류가 나오지 않았습니다.

번역이 왜 멈춰 있는 걸까요?

12

고객의类似问题 디버깅을 경험했던 기억으로는, 로케일 감지에 추론(thinking) 모델을 사용할 수 없다는 점입니다.

해당 부분에서는 구조화된 출력을 사용하지 않기 때문에 출력 형식에 매우 민감합니다. 추론 블록은 100%의 확률로 이러한 구조를 깨뜨리며, 로케일 감지가 없으면 번역은 항상 멈춰 버립니다.

13

즉, 제가 이해한 바로는 AI 번역에는 비추론 모델을 사용해야 한다는 뜻이군요.