Wenn ich das LLM ändere, werden dann alle Beiträge neu übersetzt?
Ich habe ein auf Groq gehostetes LLM verwendet, das etwa zu 95 % fertig war, als ich Fehler erhielt. Nach der Untersuchung stellte ich fest, dass Groq das von mir verwendete Modell veraltet hatte. Daraufhin habe ich ein neues Modell in Groq eingerichtet und die Modellparameter in Discourse aktualisiert.
Ich sehe, dass Discourse nun mit dem aktualisierten Übersetzungs-LLM täglich Millionen von Tokens verbraucht, aber die Fortschrittsanzeige auf der Übersetzungsstatusseite macht keinerlei Fortschritte (steckt immer noch bei 95 %).
Ich versuche also herauszufinden, was passiert, wenn sich die LLM-Parameter ändern. Startet es die Übersetzungen dann komplett von vorne? Falls ja, gibt es eine Möglichkeit, dies zu verhindern und einfach dort fortzufahren, wo es aufgehört hat?
Das hängt davon ab. Wenn Sie beispielsweise mit einem Gemini-Modell übersetzen und dann zu einem anderen wechseln, erstellen Sie einen neuen Wortcache. In meiner Erfahrung bevorzuge ich drei Routen: zwei mit demselben Modell. Ich habe jetzt ein Gemini Flash Lite für neue Inhalte aktiviert, und bisher gab es keine Probleme.
Jeden Tag verbraucht das LLM Millionen von Tokens für Übersetzungen (es erreicht das tägliche Limit der API), aber es gibt 0 Fortschritt in den Übersetzungsstatistiken (0 inkrementelle Übersetzungen). Siehe Screenshots.
Okay, ich habe die AI-Übersetzungs-Debugging-Funktion über die Rails-Konsole aktiviert, indem ich SiteSettings.ai_translation_verbose_logs = true gesetzt habe. Seit zwei Tagen sehe ich dies auf der Fehlerprotokollseite unter /logs:
DiscourseAi::Translation: Übersetzung des Themas 5898 nach zh_TW fehlgeschlagen: {“error”:{“message”:"Tageslimit für Tokens für das Modell openai/gpt-oss-120b in der Organisation org_01kccx1baz5sXXX im Service-Tier on_demand erreicht: Limit 200000, verwendet 193366, angefordert 7514. Bitte versuchen Sie es in 6m20.16s erneut.
Das gleiche Thema verbraucht weiterhin das gesamte tägliche Token-Limit. Ich verstehe nicht, warum ein Thema in einer Schleife stecken bleibt.
Wenn du von ‘Denken’ sprichst, meinst du damit die Vision? Ich sehe auf der LLM-Konfigurationsseite in Discourse kein Kontrollkästchen oder eine Option für ‘Denken’.
Ich bin neugierig, welche Auswirkungen das auf die Übersetzungen hätte.
Es hängt seit einer Woche auf dieser Seite fest und verbraucht dabei alle täglichen Tokens:
DiscourseAi::Translation: Übersetzung des Themas 5898 nach fr fehlgeschlagen: {“error”:{“message”:“Tägliche Token-Grenze (TPD) für das Modell openai/gpt-oss-120b in der Organisation org_01kccx1be8fffaz5sbe17 im Service-Tier on_demand erreicht: Limit 200000, Verwendet 197080, Angefordert 7512. Bitte versuchen Sie es in 33m3.744s erneut.”}
Meiner Erinnerung nach, als ich ein ähnliches Problem für einen Kunden debugge, kann man ein Denkmodell einfach nicht zur Lokalisierungserkennung verwenden.
Wir verwenden dort keine strukturierten Ausgaben, was bedeutet, dass wir sehr empfindlich darauf reagieren, wie die Ausgabe erfolgt. Denkblöcke brechen diese zu 100 % der Zeit, und ohne Lokalisierungserkennung bleibt die Übersetzung immer stecken.
