Was passiert mit Übersetzungen, wenn sich LLM ändert?

Unterstützung
1

Wenn ich das LLM ändere, werden dann alle Beiträge neu übersetzt?

Ich habe ein auf Groq gehostetes LLM verwendet, das etwa zu 95 % fertig war, als ich Fehler erhielt. Nach der Untersuchung stellte ich fest, dass Groq das von mir verwendete Modell veraltet hatte. Daraufhin habe ich ein neues Modell in Groq eingerichtet und die Modellparameter in Discourse aktualisiert.

Ich sehe, dass Discourse nun mit dem aktualisierten Übersetzungs-LLM täglich Millionen von Tokens verbraucht, aber die Fortschrittsanzeige auf der Übersetzungsstatusseite macht keinerlei Fortschritte (steckt immer noch bei 95 %).

Ich versuche also herauszufinden, was passiert, wenn sich die LLM-Parameter ändern. Startet es die Übersetzungen dann komplett von vorne? Falls ja, gibt es eine Möglichkeit, dies zu verhindern und einfach dort fortzufahren, wo es aufgehört hat?

2

Das hängt davon ab. Wenn Sie beispielsweise mit einem Gemini-Modell übersetzen und dann zu einem anderen wechseln, erstellen Sie einen neuen Wortcache. In meiner Erfahrung bevorzuge ich drei Routen: zwei mit demselben Modell. Ich habe jetzt ein Gemini Flash Lite für neue Inhalte aktiviert, und bisher gab es keine Probleme.

3

Ältere Übersetzungen werden beibehalten; das neue LLM führt nur Übersetzungen für den noch nicht übersetzten Teil durch.

4

Was kann ich tun, um zu überprüfen, was los ist?

Jeden Tag verbraucht das LLM Millionen von Tokens für Übersetzungen (es erreicht das tägliche Limit der API), aber es gibt 0 Fortschritt in den Übersetzungsstatistiken (0 inkrementelle Übersetzungen). Siehe Screenshots.

IMG2422
IMG24221170×1824 111 KB

IMG2420
IMG24201170×1762 173 KB

5

Aktivieren Sie ausführliche Protokolle und überprüfen Sie die letzten Einträge in der Tabelle der AI-API-Audit-Protokolle.

6

Okay, ich habe die AI-Übersetzungs-Debugging-Funktion über die Rails-Konsole aktiviert, indem ich SiteSettings.ai_translation_verbose_logs = true gesetzt habe. Seit zwei Tagen sehe ich dies auf der Fehlerprotokollseite unter /logs:

DiscourseAi::Translation: Übersetzung des Themas 5898 nach zh_TW fehlgeschlagen: {“error”:{“message”:"Tageslimit für Tokens für das Modell openai/gpt-oss-120b in der Organisation org_01kccx1baz5sXXX im Service-Tier on_demand erreicht: Limit 200000, verwendet 193366, angefordert 7514. Bitte versuchen Sie es in 6m20.16s erneut.

Das gleiche Thema verbraucht weiterhin das gesamte tägliche Token-Limit. Ich verstehe nicht, warum ein Thema in einer Schleife stecken bleibt.