Discourse AI가 많은 게시물과 주제 번역 실패

[Falco]

@panrafal

제 조사 결과에 따라 사고 노력을 low로 낮추니 모든 번역이 정상적으로 처리되었습니다. 하지만 생각 모델(thinking models)은 번역에 사용할 때 제한을 받지 않으므로, 출력을 그렇게 제한하는 것은 역효과라고 생각합니다. 또한 사용자는 왜 실패하는지 알 수조차 없습니다.

구조화된 출력(structured outputs)을 사용하다 보니, 많은 소형 모델들이 번역 과정에서 무한 루프에 빠지기 쉬웠기 때문에 max_tokens를 제한해야 했습니다.

OpenAI Responses API의 최신 버전에서는 max_tokens를 적용할 때 생각 토큰(thinking tokens)을 제외하고 계산한다고 하며, 이는 이 문제를 해결합니다.