요약에 대해 인간이 만든 벤치마크를 몇 가지 정의한 후, 그 벤치마크를 충족하거나 초과할 때까지 프롬프트를 반복적으로 개선하는 것이 유용할 수 있습니다.
몇 가지 예시:
Understanding and managing bootstrap mode 의 요약(Gist)
Discourse의 부트스트랩 모드(bootstrap mode)는 커뮤니티 성장을 촉진하는 특수한 상태로, 사용자 신뢰도, 소통 빈도, 디렉터리 업데이트를 자동으로 조정하며, ‘시작하기’ 버튼이나 스태프 작업 로그를 통해 식별할 수 있습니다.
버그 관련 토픽의 요약(Gist)
포럼 테마가 사용자 메뉴 표시 문제를 일으키고 있지만, 추적하고 해결할 수 있어 다소 까다롭긴 하지만 관리 가능한 문제입니다.
이 두 발췌 모두 인간 수준의 성능에 근접하지 않는다고 생각합니다. 여기서 인간 수준의 성능이란 뛰어난 글쓰기 실력을 가진 사람이 달성할 수 있는 수준을 의미합니다. 제 추측에 따르면, 문제는 LLM이 단일 문장에 너무 많은 정보를 담으라고 요구받음으로써 불가능한 과제를 부여받고 있다는 것입니다.
발췌의 주요 목표는 사용자가 해당 토픽에서 무엇을 기대할 수 있는지에 대한 개요를 제공하는 것입니다. 그 이상을 할 필요는 없습니다.
발췌를 생성하는 LLM은 토픽의 맥락을 인지해야 할 가능성이 높습니다. 예를 들어, 부트스트랩 문서 관련 토픽의 경우 부트스트랩 모드의 간단한 정의를 기대할 것입니다. 반면, 작성자(OP)가 사용자의 질문인 토픽의 경우, 발췌는 사이트 사용자들이 이해하기 쉬운 용어로 질문을 다시 서술하는 것만으로도 충분할 수 있습니다. 기술적 배경을 가진 사용자가 시작한 토픽의 경우, 올바른 독자를 끌어모으기 위해 몇 가지 기술 용어를 사용할 수 있습니다.