KI überschreitet zufällig und unvorhersehbar LLM-Token-Schwellenwerte

Unterstützung
4

Nur zur Info: Das Problem begann damit, dass der Übersetzungsdienst hängen blieb und die Token-Limitierung erreichte:

DiscourseAi::Completions::Endpoints::OpenAi: status: 429 - body: {“error”:{“message”:“Rate limit reached for model openai/gpt-oss-120b in organization org_01kccx1be8fffaz5sbe17 service tier on_demand on tokens per day (TPD): Limit 200000, Used 193487, Requested 7464. Please try again in 6m50.832s. Need more tokens? Upgrade to Dev Tier today at https://console.groq.com/settings/billing",“type”:“tokens”,“code”:"rate_limit_exceeded”}}

Dann habe ich den Dienst für 24 Stunden pausiert, damit sich die täglichen Limitierungen zurücksetzen. Nach dem Neustart fiel mir dieser Fehler auf:

DiscourseAi::Completions::Endpoints::OpenAi: status: 413 - body: {“error”:{“message”:“Request too large for model openai/gpt-oss-120b in organization org_01kccx1be8fffaz5sbe17 service tier on_demand on tokens per minute (TPM): Limit 8000, Requested 8102, please reduce your message size and try again. Need more tokens? Upgrade to Dev Tier today at https://console.groq.com/settings/billing",“type”:“tokens”,“code”:"rate_limit_exceeded”}}

Anschließend habe ich die maximale Anzahl der Ausgabetoken in der LLM-Konfiguration von 7000 auf 6800 reduziert, und es funktionierte wieder.

Was übersehe ich hier? Meinen Sie, das Problem hängt mit dem Kontextfenster zusammen und hat nichts mit den maximalen Ausgabetoken zu tun? Ich versuche nur herauszufinden, wie man die Konfigurationszahlen von Groq bzw. den Modellgrenzen mit den Discourse-LLM-Konfigurationen in Einklang bringt.