Я совершенно не понимаю, как работает GPT (напрямую или через API). Системные промпты даются мне очень тяжело, а попытка использовать английский творчески ситуацию не облегчает. Из-за этого и ещё по нескольким причинам я не строю слишком реалистичных ожиданий относительно того, что GPT способен делать. Поэтому в этом вопросе я похож на GPT: у меня нет знаний, я читаю доступные статьи, скопированные и вставленные откуда попало, даже не зная, насколько факты в них хоть отдалённо достоверны, а пробелы заполняю галлюцинациями. Зато у меня есть много, я имею в виду очень много тестов и попыток, которые сжигают слишком много денег.
Хватит ли этого для дисклеймера?
Я утверждаю, что у GPT память дольше, чем должна быть. Или так: это зависит, не знаю, от того, сколько у OpenAI пользователей, или от того, насколько близко к лимиту находится использование. Но определённо свежий GPT-4 помнит гораздо дольше, чем положено. Линия GPT-3.5 не так сильна в этом плане, и я считаю, что модели 3.5 недавно «обезглавили» в пользу версии 4.
И вы, ребята, сделаете шаг вперёд и скажете, что мне стоит оставить взрослых в покое и позволить им вести свои беседы, потому что вы не используете GPT от OpenAI 
Но каждый раз, когда я делаю итерации, немного меняя промпт и начиная новые диалоги, я получаю примерно те же результаты: сначала ответы близки к тому, что я хотел, или полностью соответствуют, а потом он начинает меня подводить.
Тогда я начал делать немного другие вещи и сумел получить ответы, которые были бы невозможны, если бы у GPT не было более длительной памяти. Конечно, есть большая вероятность, что я сам загрузил в него ложные воспоминания, или я был не так умен, как думал (опять же, английский для меня сложен), и это была просто удачная догадка или совпадение, то есть то, что делает GPT.
Так что то, что вы называете деградацией, на самом деле является своего рода фрустрацией. Глупый человек снова и снова задаёт один и тот же вопрос, а умный всемирно доминирующий интеллект пытается дать немного другой ответ за попыткой. В итоге у него не остаётся здесь ни одной интересной темы, потому что он уже предложил их все в ходе итераций.
Ваш Берт просто очень зол, потому что ничего из того, что он вам предлагает, недостаточно хорошо, и в конце концов он просто говорит: «Идите к чёрту, я ухожу домой» — ну, он вежливый парень, поэтому не использует именно такие слова, но тон тот же.
TL;DR: итерации могут исчерпать возможности, потому что количество новых и интересных тем не бесконечно (независимо от того, что разработчики говорят, что это невозможно; эти ребята не умеют читать людей, поэтому я не до конца уверен, понимают ли они ИИ лучше
).