페르소나 트리아지와 커스텀 도구를 활용하여 이런 식으로 처리할 수 있을 것 같습니다.
페르소나 트리아지(gpt 4o mini) → 커스텀 도구 → 수정용 LLM(gpt 4o) → 편집 제출용 API
다만, LLM이 환각(hallucination) 없이 편집을 적용하는 데 얼마나 허용할 수 있을지가 과제입니다.
한 가지 가능성으로는, 수정용 LLM이 반환하는 호출에서 두 개의 줄 번호(코드 시작 위치와 종료 위치)를 반환하게 하고, 이 정보를 이용해 백틱을 추가하는 방식이 있습니다. 이렇게 하면 파괴적인 오류 발생 위험을 크게 줄일 수 있습니다.
이 부분에 대해 더 생각해 볼 예정입니다. 하지만 여기서는 실현 가능한 무언가가 나올 수 있다고 생각합니다.