LLM용 프롬프트를 작성하는 우리에게 프롬프트의 효과성을 이해하는 것은 매우 중요합니다.
LLM 용어로는 evals(evaluations의 줄임말)라고 합니다. 프로그래밍에서 유닛 테스트에 익숙한 우리에게 이 둘은 매우 유사하여, 저는 정신적으로 이 두 가지를 거의 동일시합니다.
OpenAI의 12일간의 AMA 기간 동안 다음과 같은 질문이 제기되었습니다:
개발자로서 여러분이 우리가 더 많이 해야 한다고 생각하는 것 중 우리가 덜 하고 있는 것은 무엇입니까? 우리는 무엇을 더 잘, 또는 덜, 또는 더 많이 해야 한다고 생각하시나요?
OpenAI의 Michelle Pokrass는 답변에서 이렇게 말했습니다:
가장 큰 것 중 하나는 evals입니다! evals를 전혀 사용하지 않고 프로덕션 환경에 변경 사항을 배포할 때 직관에 의존하는 개발자들을 많이 봅니다. 새 모델이 출시될 때 자신감을 가지고 업데이트할 수 있도록, OpenAI의 evals 제품(또는 오픈소스 제공 사항)을 사용하여 간단한 evals를 만드는 것을 강력히 권장합니다.
트위터에서 AnthropicAI의 Amanda Askell은 지적했습니다:
좋은 시스템 프롬프트 뒤의 지루하지만 중요한 비밀은 테스트 주도 개발(TDD)입니다. 시스템 프롬프트를 작성하고 그것을 테스트하는 방법을 찾는 것이 아닙니다. 테스트를 작성하고 그 테스트를 통과하는 시스템 프롬프트를 찾는 것입니다.
많은 사람들이 모르고, 이제 LLM 모델 제작자들 사이에서 주목을 받기 시작하는 것은 최종 사용자가 자신의 프롬프트를 평가하는 데 도움이 되는 도구들입니다.
OpenAI 플레이그라운드:
참고: 이것은 새로운 것이며, OpenAI 플레이그라운드에서 이것은 우리가 수년간 OpenAI GitHub에서 보아온 evals(evals)와 다릅니다.
Anthropic 콘솔:
Azure의 Microsoft .Net 프레임워크:
고지: 저는 이러한 자동화된 평가 도구를 사용해 본 적이 없지만, 다양한 프롬프트를 시도하여 더 간단한 평가를 수동으로 많이 수행해 왔습니다. 이 도구들은 그 과정을 더 쉽게 만들어 줄 것입니다.
모델의 출력을 인간이 만든 출력과 비교하는 대신, 다른(이상적으로는 더 크거나 더 강력한) 모델에게 리뷰를 분석하도록 요청하는 방법에 대해 더 자세한 내용을 알고 싶다면 Colin Jarvis의 이 레슨을 추천합니다.
레슨 6: o1을 사용한 메타프롬프팅
DeepLearning.AI 코스 Reasoning with o1 - DeepLearning.AI의 일부입니다.
참고
evals 태그를 추가하고 싶었지만 생성할 권한이 없습니다.