Окно контекста установлено на 130 тыс.
Но это возвращает меня к той же проблеме. Лимит модели в Groq составляет 131 072 токена; я уже установил его на 130 000. Мне не следует экспериментировать с лимитами, чтобы понять, сколько токенов отправляет Discourse. Discourse должен работать в пределах лимитов, заданных в конфигурации LLM.
Что я не понимаю, так это то, почему уменьшение максимального количества выходных токенов, похоже, решает проблему. Я не менял размер окна контекста, просто ещё больше сократил лимит выходных токенов, и система начала работать, продолжая с того места, где остановилась.