الذكاء الاصطناعي يتجاوز عتبات رموز LLM بشكل عشوائي وغير متوقع

مجرد معلومة: بدأت المشكلة أولاً عندما علقت خدمة الترجمة ونفدت الرموز (tokens):

DiscourseAi::Completions::Endpoints::OpenAi: status: 429 - body: {“error”:{“message”:“تم الوصول إلى حد المعدل للنموذج openai/gpt-oss-120b في المنظمة org_01kccx1be8fffaz5sbe17 ضمن مستوى الخدمة on_demand من حيث الرموز في اليوم (TPD): الحد 200000، تم استخدام 193487، المطلوب 7464. يرجى المحاولة مرة أخرى خلال 6 دقائق و50.832 ثانية. تحتاج إلى المزيد من الرموز؟ قم بالترقية إلى مستوى المطور اليوم عبر https://console.groq.com/settings/billing",“type”:“tokens”,“code”:"rate_limit_exceeded”}}

ثم قمت بإيقاف الخدمة لمدة 24 ساعة لإعادة تعيين حدود المعدل اليومية. بعد إعادة تشغيلها، لاحظت هذا الخطأ:

DiscourseAi::Completions::Endpoints::OpenAi: status: 413 - body: {“error”:{“message”:“الطلب كبير جدًا بالنسبة للنموذج openai/gpt-oss-120b في المنظمة org_01kccx1be8fffaz5sbe17 ضمن مستوى الخدمة on_demand من حيث الرموز في الدقيقة (TPM): الحد 8000، المطلوب 8102، يرجى تقليل حجم الرسالة والمحاولة مرة أخرى. تحتاج إلى المزيد من الرموز؟ قم بالترقية إلى مستوى المطور اليوم عبر https://console.groq.com/settings/billing",“type”:“tokens”,“code”:"rate_limit_exceeded”}}

ثم قمت بتقليل الحد الأقصى للرموز المخرجة من 7000 إلى 6800 في إعدادات نموذج اللغة الكبير (LLM)، وعادت الخدمة للعمل مرة أخرى.

ما الذي أفتقده هنا؟ هل تقترح أن المشكلة تتعلق بنافذة السياق ولا علاقة لها بالحد الأقصى للرموز المخرجة؟ أنا أحاول فقط فهم كيفية مطابقة أرقام الإعدادات من Groq وحدود النموذج مع إعدادات نموذج اللغة الكبير في Discourse.