@falco와도 이 문제에 대해 논의했지만, 이 문제가 매우 예민하다는 점을 경고하고 싶습니다.
특히 “User” 메시지에는 이미 사용자 이름이 포함되어 있습니다:
이는 AI API 로그에서 확인할 수 있습니다.
시스템 프롬프트에 이름을 삽입하는 것의 위험성은, 체인 내에서 다중 사용자 상호작용이 발생하는 경우 시스템 프롬프트가 변경되어 캐시가 만료될 수 있다는 점입니다. 이는 이상적이지 않으며 성능 저하로 이어질 수 있습니다.
그런데 … vLLM 템플릿에서 이름을 버리는 것을 발견했습니다. 이것이 CDCK 호스팅 모델에서 이 기능이 누락된 이유를 설명해 줍니다. 이를 수정하기 위한 패치를 작성하고 있습니다.