컨텍스트 윈도우가 130k로 설정되어 있습니다
하지만 이 문제는 여전히 동일한 문제로 돌아갑니다. Groq의 모델 한도는 131,072이며, 저는 이미 130,000으로 설정해 두었습니다. Discourse가 얼마나 많은 데이터를 전송하는지 파악하기 위해 한도를 직접 실험해 보며 알아내야 할 이유는 없습니다. Discourse는 LLM 구성에서 제공된 한도 내에서 작동할 수 있어야 합니다.
아직 이해가 안 되는 부분은 최대 출력 토큰을 줄이면 문제가 해결되는 이유입니다. 컨텍스트 윈도우에는 변경 사항이 없었고, 단순히 최대 출력 토큰만 더 줄였을 뿐인데 작동하기 시작했고 중단된 지점부터 이어서 처리하기 시작했습니다.