La fenêtre de contexte est définie à 130k
Mais cela me ramène au même problème. La limite du modèle sur Groq est de 131 072 ; je l’ai déjà fixée à 130 000. Je ne devrais pas avoir à expérimenter avec les limites pour déterminer combien Discourse envoie. Discourse devrait pouvoir fonctionner dans les limites fournies par la configuration du LLM.
Ce que je ne comprends pas, c’est pourquoi la réduction du nombre maximal de jetons de sortie semble résoudre le problème. Je n’ai apporté aucune modification à la fenêtre de contexte, j’ai simplement réduit davantage le nombre maximal de jetons de sortie et cela a recommencé à fonctionner, reprenant là où cela s’était arrêté.