تم تعيين نافذة السياق على 130 ألف
لكن هذا يعيدني إلى نفس المشكلة. حد النموذج في Groq هو 131,072؛ وقد قمت بالفعل بتعيينه على 130,000. لا ينبغي أن أضطر إلى تجربة الحدود لمعرفة مقدار ما يرسله Discourse. يجب أن يتمكن Discourse من العمل ضمن الحدود التي توفرها إعدادات نموذج اللغة الكبير (LLM).
ما لا أفهمه هو سبب يبدو أن تقليل عدد رموز الإخراج القصوى يحل المشكلة. لم أقم بإجراء أي تغييرات على نافذة السياق، بل فقط قللت من عدد رموز الإخراج القصوى أكثر، وقد بدأت الأمور تعمل مرة أخرى واستمرت من حيث توقفت.