프롬프트 도구: 퍼널, 오빗, 플럭스 차트

더 나은 프롬프트를 만들기 위해 사용할 수 있는 이 도구들에 대해 방금 알게 되었습니다.

언젠가 미래에 Discourse로 프롬프트를 작성하는 사람들을 위해 이러한 도구들이 만들어지고 통합되기를 바랍니다. :slightly_smiling_face:


Funnel(퍼널): 바이너리 결과인 통과/실패(pass/fail)로만 평가되던 각 평가(eval)를 각 단계마다 고유한 통과/실패 기준을 가진 일련의 연속 단계로 분해합니다.

Flux(플럭스): 플럭스는 퍼널을 통한 움직임에 대한 우리의 정량적 측정치입니다. 우리는 플럭스를 전체적으로 살펴서 처리가 퍼널에 미친 순 결과를 정량화하고, 단계별로 나누어 평가들이 단계에서 단계로 어떻게 전환되는지 확인합니다.

Orbit(오빗): 오빗 차트는 개별 평가들이 퍼널을 나타내는 '오빗’을 통해 이동하는 모습을 시각화하며, 초기 단계는 중심에 더 가깝게 배치됩니다. 이는 실험 결과에 대한 정보 밀도가 매우 높은 뷰입니다.


이미지

Funnel(퍼널)

Flux(플럭스)

Orbit(오빗)

2개의 좋아요