Eu não sei nada sobre como o GPT (diretamente ou via API) funciona. Prompts do sistema são muito difíceis para mim, e usar inglês de forma criativa não facilita as coisas. Por causa disso e de algumas outras coisas, eu não tenho expectativas muito realistas sobre o que o GPT pode fazer. Então, eu sou como o GPT nesse assunto: sem conhecimento, lendo artigos fáceis de copiar e colar onde eu não sei nem se os fatos são remotamente confiáveis e preenchendo lacunas com alucinações. Mas eu tenho muitos, e quero dizer muitos mesmo, testes e tentativas gastando dinheiro demais.
Isso é o suficiente sobre o aviso?
Eu afirmo que o GPT tem uma memória mais longa do que deveria. Ou, colocando de outra forma: depende, sei lá, de quantos usuários a OpenAI tem. Ou de quão perto está o uso do limite. Mas definitivamente o GPT-4 recente lembra muito mais do que deveria. A linha GPT-3.5 não tanto, e eu afirmo que os modelos 3.5 foram lobotomizados recentemente em favor do 4.
E vocês vão dar um passo à frente e dizer que eu deveria deixar os adultos em paz e ter a conversa deles porque vocês não estão usando o GPT da OpenAI 
Mas toda vez que eu faço iterações mudando um pouco o prompt e começando novas conversas, eu obtenho resultados semelhantes: primeiro perto ou totalmente o que eu queria, e depois ele começou a falhar comigo.
Então, comecei a fazer coisas um pouco diferentes e consegui obter respostas que não seriam possíveis a menos que o GPT tivesse uma memória mais longa. Claro, há uma forte possibilidade de que eu realmente esteja alimentando memórias falsas para ele, ou que eu não fosse tão inteligente quanto pensava (novamente, inglês é difícil para mim) e foi apenas um palpite sortudo ou coincidência, ou seja, o que o GPT faz.
Então, o que vocês chamam de degradação é, na verdade, uma espécie de frustração. Um humano estúpido está fazendo a mesma pergunta repetidamente e a inteligência inteligente e dominante tenta dar uma resposta um pouco diferente a cada tentativa. Então, no final, não há mais tópicos interessantes aqui, porque ele já ofereceu todos eles em rodadas de iteração.
Seu Bert está apenas muito irritado porque nada do que ele oferece a você é bom o suficiente e, finalmente, ele diz: “foda-se vocês, estou indo para casa” — bem, ele é um cara educado, então ele não usa exatamente essas palavras, mas o tom é o mesmo.
TLDR; iterações podem desperdiçar possibilidades porque não há uma quantidade infinita de tópicos novos e interessantes (não importa se os desenvolvedores dizem que isso não é possível; esses caras não conseguem ler humanos, então não tenho certeza se eles entendem IA tão bem quanto
)