Feedback resumido diário

Totalmente fora do tópico, mas estou vendo um padrão aqui. Mais os relacionados à cultura anglo estão nomeando a IA como homem. E os que vêm de diferentes famílias de idiomas e culturas veem a IA como mulher.

Bem… se vocês mudarem esse nome, ela pode começar a se comportar e não ficar tão irritada o tempo todo :wink:

Deixei ele tentar de novo. Ele decidiu não incluir os links desta vez. :pessoa_dando_de_ombros:

1 curtida

Tenho que dizer: a esta altura já não é bem um resumo… Acho que não está a cumprir muito bem o conceito de destaques neste momento.

5 curtidas

Estou me preparando para mais uma tentativa com o prompt.

Estou pensando: “Bert, torne isso mais abrangente e inclua suas próprias ideias para expandir os tópicos que você gostou particularmente de ler”.

2 curtidas

Recomendação

Tenha uma quarta regra de automação que você usa para testes, faça com que ela tenha como alvo apenas você em uma mensagem privada (PM).

Torna o ciclo de feedback muito mais curto, você pode passar por 5-6 iterações em poucos minutos.

O problema que estou tendo é que ele produz um resultado decente e depois se degrada ao longo do tempo com base no mesmo prompt. Não tenho certeza de como compensar isso.

1 curtida

Resultado decente consistentemente nos testes? Não tenho certeza, mas talvez reduzir a temperatura ou o top p possa ajudar aqui, pensei que o tinha deixado perto de zero.

Os dois últimos parecem estar muito mais próximos do que se pretendia, então não tenho certeza do que poderia ser alterado para que ele se atenha mais consistentemente ao script. Posso tentar uma quarta automação e testes rápidos, mas se 5 saírem bem e os próximos 5 não tão bem, então não tenho 100% de certeza quais alavancas posso puxar para apertar isso. Não estou muito familiarizado com a escrita de prompts de IA, então isso vai desempenhar um papel. Também não tenho certeza de como ele decide o que é ‘interessante’ e se é apenas um pouco aleatório.

Tentei fazer um relatório de engajamento:

Tópico Visualizações Curtidas no Tópico Assistindo Rastreando Silenciado Manualmente
Resumo Diário (21h UTC) (9) 331 4 1 5 11
Resumo Diário (5h UTC) (10) 395 5 1 5 13
Resumo Diário (13h UTC) (10) 391 2 1 6 12
Resumo Semanal (2) 108 5 2 4
1 curtida

Eu não sei nada sobre como o GPT (diretamente ou via API) funciona. Prompts do sistema são muito difíceis para mim, e usar inglês de forma criativa não facilita as coisas. Por causa disso e de algumas outras coisas, eu não tenho expectativas muito realistas sobre o que o GPT pode fazer. Então, eu sou como o GPT nesse assunto: sem conhecimento, lendo artigos fáceis de copiar e colar onde eu não sei nem se os fatos são remotamente confiáveis e preenchendo lacunas com alucinações. Mas eu tenho muitos, e quero dizer muitos mesmo, testes e tentativas gastando dinheiro demais.

Isso é o suficiente sobre o aviso?

Eu afirmo que o GPT tem uma memória mais longa do que deveria. Ou, colocando de outra forma: depende, sei lá, de quantos usuários a OpenAI tem. Ou de quão perto está o uso do limite. Mas definitivamente o GPT-4 recente lembra muito mais do que deveria. A linha GPT-3.5 não tanto, e eu afirmo que os modelos 3.5 foram lobotomizados recentemente em favor do 4.

E vocês vão dar um passo à frente e dizer que eu deveria deixar os adultos em paz e ter a conversa deles porque vocês não estão usando o GPT da OpenAI :rofl:

Mas toda vez que eu faço iterações mudando um pouco o prompt e começando novas conversas, eu obtenho resultados semelhantes: primeiro perto ou totalmente o que eu queria, e depois ele começou a falhar comigo.

Então, comecei a fazer coisas um pouco diferentes e consegui obter respostas que não seriam possíveis a menos que o GPT tivesse uma memória mais longa. Claro, há uma forte possibilidade de que eu realmente esteja alimentando memórias falsas para ele, ou que eu não fosse tão inteligente quanto pensava (novamente, inglês é difícil para mim) e foi apenas um palpite sortudo ou coincidência, ou seja, o que o GPT faz.

Então, o que vocês chamam de degradação é, na verdade, uma espécie de frustração. Um humano estúpido está fazendo a mesma pergunta repetidamente e a inteligência inteligente e dominante tenta dar uma resposta um pouco diferente a cada tentativa. Então, no final, não há mais tópicos interessantes aqui, porque ele já ofereceu todos eles em rodadas de iteração.

Seu Bert está apenas muito irritado porque nada do que ele oferece a você é bom o suficiente e, finalmente, ele diz: “foda-se vocês, estou indo para casa” — bem, ele é um cara educado, então ele não usa exatamente essas palavras, mas o tom é o mesmo.

TLDR; iterações podem desperdiçar possibilidades porque não há uma quantidade infinita de tópicos novos e interessantes (não importa se os desenvolvedores dizem que isso não é possível; esses caras não conseguem ler humanos, então não tenho certeza se eles entendem IA tão bem quanto :rofl:)

Não sei, começo a ficar um pouco irritado com este bot. Geralmente, aprecio muito que haja mais experimentação de produtos aliada ao feedback do usuário. Mas este recurso está tão experimental no momento que parece um pouco não consensual ser mencionado consistentemente por este bot. E precisar silenciar o usuário do sistema para não participar disso não parece a maneira certa de sair.

Eu preferiria muito se isso pudesse ser implementado de uma maneira menos intrusiva como está agora.

1 curtida

Eu acho que você deveria ser capaz de silenciar os tópicos em vez do usuário @Discourse se quisesse optar por não participar, mas acho que a ideia de ser opt-in era mais atraente.

1 curtida

Continuando a discussão de Resumo Diário (5h UTC):

Então eu vi este tópico: Daily Summary Feedback, que parece me informar sobre os pings de link na categoria.

Notei que recebi três pings de link seguidos deste tópico:


Eu me pergunto por que recebi ping de link três vezes do resumo de IA.

Se você verificar qualquer um dos OPs dos tópicos de resumo, há uma explicação lá também. :+1:

2 curtidas

Isso foi discutido antes

2 curtidas

Estes são resumos úteis, eu gosto deles.

Alguém realmente lê isso para fins informativos? Minha opinião é que é muito específico. Eu estaria mais interessado em resumos de nível superior. Como um resumo semanal que pega todos os diários e sintetiza todo o conteúdo em um nível mais alto.

Em vez de “esta pessoa informou aquela pessoa sobre um bug”, talvez como “11 novos bugs relatados esta semana Bug

Ou algo como “IA foi o tópico mais discutido esta semana com o lançamento de um novo plugin [url]”

2 curtidas

Acho que deveríamos reduzir isso para 1 por dia. As três por dia para tentar acomodar diferentes fusos horários não parece valer a pena no momento.

Se realmente quisermos algo assim, parece que precisamos de uma persona de bot de IA em vez disso, e as pessoas podem perguntar a ele o que aconteceu desde a última vez que visitaram e para, “ah, por favor, me traga um café com as notícias também, quer?”

5 curtidas

Na verdade… eu gosto dessa ideia de mordomo. E se jogarmos mais esse jogo mental — ainda melhor se funcionasse de forma semelhante ao discobot, ou se pudéssemos ter um link semelhante para colocar nos menus.

Preciso do meu relatório às 8h, @pmusaraj adora o relatório dele pela manhã.

Antes de jogarmos o bebê fora com a água do banho, quais são os problemas reais em aberto?

  • As pessoas precisam silenciar ativamente, em vez de começar silenciadas
  • Links inúteis em tópicos
  • Notificações inúteis

Posso pensar em soluções para todos esses problemas, especialmente se estivermos dispostos a ocultar esses relatórios de anônimos por enquanto.


Um exemplo de solução abrangente que a torna opt-in:

  • Crie 3 categorias seguras para os 3 relatórios
  • Permita que as pessoas entrem livremente em 1 dos 3 grupos sob os quais os relatórios estão protegidos
  • Adicione uma nova extensão de markdown ?silent=true no final do URL significa, sem notificação, sem tópico vinculado. (o que geralmente é útil de qualquer maneira)

Problema resolvido?

4 curtidas

Não tenho sentimentos muito fortes sobre isso, mas estou tentando imaginar onde isso vai parar e estou tendo dificuldade em imaginar algo muito elegante no momento.

Certamente não estou defendendo tornar as coisas mais complexas agora.

Você já tem algo em mente para onde isso vai parar?

1 curtida