Feedback resumido diário

Verifiquei os logs de auditoria e eles retornaram uma resposta vazia. Reativei a regra e ela funcionou desta vez.

5 curtidas

Olá,

Não tenho certeza de onde relatar isso ou se vale a pena relatar, no entanto, parece que o recurso de resumo do Discourse AI alucina - várias vezes.

Exemplo:
Um tópico foi criado, não houve respostas nem interações de usuários. Nenhuma solução foi discutida ou investigada. Veja post.

No entanto, o bot afirma com confiança: “Algumas opções foram discutidas, mas nenhuma solução definitiva.”

Não há como filtrar isso para que, se uma postagem não tiver respostas, o resumo não seja imaginado?

1 curtida

Se você quer dizer ‘você pode fazer o Bert parar de alucinar’, então não, isso não é algo que eu possa fazer de forma consistente. :slight_smile:

Acho que as ferramentas subjacentes melhoram o tempo todo, e a precisão melhora junto com elas.

5 curtidas

Eu pretendo eventualmente migrar para a amalgamação de resumos de tópicos para a seção de resumos de tópicos.

Isso pode eliminar um monte de problemas, mas aumentar a confiabilidade aqui com as ferramentas atuais certamente aumentará muito o custo, você precisaria gerar e depois executar rodadas de validação, o que pode ser muito caro.

2 curtidas

Em Daily Summary (5am UTC) - #149 e Daily Summary (5am UTC) - #148, parece que alguns tópicos foram escritos incorretamente. Em vez de #site-feedback, estava #site feedback, daí o tópico não ter recebido o link. Em seguida, em vez de #dev:translations, dizia #translations. Da mesma forma, entrou #Self-hosting em vez de #documentation:self-hosting

Sim, isso é algo conhecido. Não vale muito a pena o esforço de editá-los manualmente ou gastar muito tempo ajustando o prompt para contorná-lo. :person_shrugging:

3 curtidas

Bert comeu os cogumelos errados novamente

5 curtidas

3 curtidas

Mas… mas você nem postou naquele tópico lol.
(Além disso, o que são Bert e cogumelos?)

Bert geralmente parece ser o apelido usado para o bot de IA da Meta.

1 curtida

Parece que isso foi corrigido? E formatado da mesma forma que as postagens originais? (Para esta, mas parece que a das 13h tem as categorias corrigidas, embora não pareça com as primeiras (onde as categorias estão em negrito))

Mudamos para Claude 3.5 Sonnet, então a qualidade é um pouco melhor.

3 curtidas

A IA acabou de desistir de colocá-los (categorias) em uma classe ‘mention’? Ou o prompt foi alterado?
https://meta.discourse.org/t/daily-summary-5am-utc/291851/179?u=natedhaliwal
EDIT: Parece que se corrigiu na próxima postagem.

Parece que a IA não agrupou tópicos da mesma categoria, então a postagem tem muitos tópicos, sem nenhuma ordem aparente.
(Não tenho certeza se esta postagem pertence aqui)
https://meta.discourse.org/t/weekly-summary/291947/30?u=natedhaliwal

Quase correto :slight_smile:

ah, qual é. O @Moin fez o primeiro e o segundo tópico era sobre outra coisa lol

Fico lisonjeado que o bot pense que estou fazendo as coisas do Moin. :laughing:

3 curtidas

Nenhuma solicitação de recurso foi feita, pois já existe uma. Eu apenas a linkei. Isso foi em Support :grin:

1 curtida

Eu não participei desse tópico :dizzy_face:

2 curtidas

ah, agora o bot pensa que sou o Hugh. :eyes: :woman_facepalming:t2:

3 curtidas

Cometeu um grande erro

5 curtidas