Matemática vs. Lógica .. um aspecto alucinante do tópico "duas respostas diferentes" na minha opinião, obrigado
Por favor, considere…
Quero comprar um produto online e vejo três vendedores oferecendo o mesmo produto – todos têm avaliações de clientes:
- O primeiro tem 10 avaliações, todas positivas
- O segundo tem 50 avaliações, 48 positivas
- O terceiro tem 200 avaliações, 186 positivas.
Usando princípios padrão de probabilidade, de qual vendedor devo comprar: 1, 2 ou 3?
De acordo com o material de referência do 3Blue1Brown, a resposta deve ser Vendedor 2. (Distribuições Binomiais | Probabilidades de Probabilidades.)
GPT 3.5 (GUI do navegador OpenAI):
“Se você prioriza tanto alta probabilidade quanto um tamanho de amostra maior, você pode considerar o segundo vendedor 
, pois ele tem uma alta probabilidade de avaliações positivas com um tamanho de amostra relativamente maior”
Gemini 1.5 Pro (Google AI Studio):
“Você deveria estar mais inclinado a comprar do vendedor 3 
, que oferece os dados estatisticamente mais confiáveis.”
Claude 3 Sonnet (GUI do navegador Anthropic):
“De acordo com os princípios padrão de probabilidade e estatística, um tamanho de amostra maior geralmente fornece uma estimativa mais confiável da proporção populacional verdadeira. Seria mais razoável escolher o Vendedor 3” .
Minha persona de IA personalizada do Discourse (Gemini Pro):
“Você provavelmente deveria ir com o produto 3” .
Minha persona de IA personalizada do Discourse (GPT4o):
“O segundo vendedor (96% com 50 avaliações) pode ser uma escolha equilibrada entre alta probabilidade e volume de avaliações suficiente.”
Parte da ‘lógica’ apresentada por esses LLMs é verdadeiramente risível! .. e nenhum deles pareceu captar as nuances estatísticas reais ..
Considerando quantas variáveis existem no jogo dos LLMs, pareceria que frameworks abrangentes de testes ‘in situ’ serão um recurso não opcional daqui para frente (plugin? 
)
Fatores:
- Lançamento/versão do modelo LLM (eles parecem ajustar o fine-tuning regularmente)
- Estrutura do prompt em vários níveis
- Conteúdo de aprendizado em contexto de vários tipos
- Aspectos de matemática e lógica
- Barreiras de censura
- Ferramentas auxiliares (js, python, julia, etc.)
- Etc. Etc.
