Ferramentas de prompt: funil, órbita e gráficos de fluxo

Acabei de aprender sobre essas ferramentas para criar melhores prompts

Talvez um dia no futuro elas possam ser criadas e incorporadas para quem cria prompts com Discourse. :slightly_smiling_face:


Funnel: decompõe cada eval de um resultado binário de aprovação/falha em uma série de etapas em cascata, cada uma com seus próprios critérios de aprovação/falha.

Flux: Flux é nossa medida quantitativa de movimento através do funil. Observamos o fluxo tanto no agregado, para quantificar o resultado líquido de um tratamento em nosso funil, quanto detalhado por estágio, para ver como as avaliações estão transitando de um estágio para outro.

Orbit: O gráfico de órbita visualiza avaliações individuais à medida que elas se movem através de “órbitas” que representam o funil, com estágios anteriores mais próximos do centro. É uma visualização extremamente rica em informações de um resultado experimental.


Imagens

Funnel

Flux

Orbit

2 curtidas