より良いプロンプトを作成するためのツールについて学びました。
将来的には、Discourse でプロンプトを作成する人々のために、それらを作成して組み込むことができるようになるかもしれません。
Funnel: 各 eval を合格/不合格の二項結果から、それぞれ独自の合格/不合格基準を持つ一連の連鎖的なステップに分解します。
Flux: Flux は、ファネルを通過する移動の定量的な測定値です。全体的な集計値として、処理がファネルに与える正味の結果を定量化し、ステージごとに内訳を表示して、eval がステージからステージへどのように移行しているかを確認します。
Orbit: Orbit チャートは、ファネルを表す「軌道」を移動する個々の eval を視覚化します。初期のステージは中心に近くなります。実験結果の非常に情報密度の高いビューです。
画像
Funnel
Flux
Orbit
