AI 봇 최대 컨텍스트 게시물

최대 컨텍스트 게시글 수를 설정하면


해당 수치가 개인 메시지 대화에서 도달하면 봇이 단순히 응답을 멈춥니다.

이것이 해당 설정의 의도인가요? 그렇다면 단순히 응답을 멈추는 대신, 사용자가 임계값에 도달했음을 알리는 것이 적절하지 않나요?

그렇게 작동하지 않습니다. 시스템은 수많은 답변을 "기억"하고, 이를 컨텍스트로 유지하며 새로운 답변의 기반으로 사용합니다.

아마도 너무 많은 토큰을 사용했거나 유사한 문제가 발생하여 요청을 완료하지 못하고 중단된 것 같습니다.

오류 로그에 어떤 정보가 표시될 것입니다.

네, 설명을 보고 저도 그렇게 생각했습니다.
하지만 어제까지는 게시글 수가 지정된 값에 도달하면 그냥 멈춰버렸거든요.

오늘 다시 시도해 보니 예상대로 작동하네요 - 멈추지 않고 지정된 게시글 수를 유지합니다. 그래서 이 문제는 수정된 것 같습니다 :slight_smile:

이상한 문제인데, 네, 이건 그냥 컨텍스트의 크기를 설정할 뿐이야.

업그레이드 중에 어떤 버그가 숨어 있는 건 아닌지 궁금해.

또한 “요약” 전략을 추가하고 싶어. 그러면 토큰 수가 적으면서도 거대한 컨텍스트를 처리할 수 있게 되지. (N개 토큰마다 중요한 핵심 정보를 요약하는 방식이야)