No tengo ni idea de cómo funciona GPT (directa o a través de la API). Los prompts del sistema son muy difíciles para mí, y usar el inglés de forma creativa no lo hace más fácil. Debido a eso y un par de cosas más, no tengo expectativas muy realistas sobre lo que GPT puede hacer. Así que estoy como GPT en este asunto: sin conocimiento, leyendo artículos fáciles de copiar y pegar donde no sé en absoluto si los hechos son remotamente confiables y los espacios en blanco los relleno con alucinaciones. Pero tengo muchas, y quiero decir muchísimas pruebas y errores quemando demasiado dinero.
¿Es suficiente sobre la advertencia?
Afirmo que GPT tiene una memoria más larga de la que debería. O lo digo de esta manera: depende de, no sé, de cuántos usuarios tenga OpenAI. O de lo cerca que esté de usar el límite. Pero definitivamente el GPT-4 reciente recuerda mucho más de lo que debería. La línea GPT-3.5 no tanto y afirmo que los modelos 3.5 han sido lobotomizados recientemente en favor del 4.
Y ustedes darán un paso adelante y dirán que debería dejar a los adultos solos y tener su conversación porque no están usando GPT de OpenAI 
Pero cada vez que hago iteraciones cambiando un poco el prompt y comenzando nuevas conversaciones, obtengo resultados similares: primero cerca o totalmente lo que quería, y luego comenzó a fallarme.
Entonces comencé a hacer cosas un poco diferentes y logré obtener respuestas que no hubieran sido posibles a menos que GPT tuviera una memoria más larga. Claro, existe una alta posibilidad de que en realidad le esté alimentando falsos recuerdos, o que no fuera tan inteligente como pensaba (de nuevo, el inglés es difícil para mí) y solo fuera una suposición afortunada o una coincidencia, es decir, lo que hace GPT.
Así que lo que ustedes llaman degradación es en realidad una especie de frustración. Un humano estúpido hace la misma pregunta una y otra vez y la inteligencia inteligente que domina el mundo intenta dar una respuesta un poco diferente una y otra vez. Entonces, al final, no tiene temas interesantes de aquí, porque los ofreció todos a través de rondas de iteración.
Tu Bert está realmente cabreado porque nada de lo que te ofrece es lo suficientemente bueno y finalmente dice que se jodan, me voy a casa; bueno, es un tipo educado, así que no usa exactamente esas palabras, pero el tono es el mismo.
TLDR; las iteraciones pueden desperdiciar posibilidades porque no hay una cantidad infinita de temas nuevos e interesantes (sin importar si los desarrolladores dicen que no es posible; esos tipos no pueden leer a los humanos, así que no estoy totalmente seguro de si entienden la IA mucho mejor
)