Acabei de aprender sobre essas ferramentas para criar melhores prompts
Talvez um dia no futuro elas possam ser criadas e incorporadas para quem cria prompts com Discourse. ![]()
Funnel: decompõe cada eval de um resultado binário de aprovação/falha em uma série de etapas em cascata, cada uma com seus próprios critérios de aprovação/falha.
Flux: Flux é nossa medida quantitativa de movimento através do funil. Observamos o fluxo tanto no agregado, para quantificar o resultado líquido de um tratamento em nosso funil, quanto detalhado por estágio, para ver como as avaliações estão transitando de um estágio para outro.
Orbit: O gráfico de órbita visualiza avaliações individuais à medida que elas se movem através de “órbitas” que representam o funil, com estágios anteriores mais próximos do centro. É uma visualização extremamente rica em informações de um resultado experimental.
Imagens
Funnel
Flux
Orbit


