Ich habe dem offiziellen Tutorial zur Konfiguration von Discourse AI für die Übersetzung gefolgt und es so eingestellt, dass alle bisherigen Beiträge über einen Zeitraum von mehreren Tagen übersetzt werden. Dies führte tatsächlich zu einer erheblichen Menge an Eingabe- und Ausgabetokens. Nach zwei Tagen trat jedoch eine Situation auf, in der nur Eingabetokens verarbeitet wurden, ohne dass eine Ausgabe erfolgte. Ich bin mir der Ursache nicht sicher – könnte es sein, dass alle vorherigen Beiträge bereits übersetzt wurden? Wenn ja, welche Maßnahmen kann ich ergreifen, um die Eingabetokens zu reduzieren und somit Kosten zu sparen?
Hallo, hast du diese Empfehlungen befolgt?
Der Nutzungsgraph sieht definitiv besorgniserregend aus. Können Sie diese Data Explorer-Abfrage ausprobieren:
SELECT
a.id,
a.language_model,
LENGTH(p.raw) as raw_length,
a.response_tokens,
a.raw_request_payload,
a.raw_response_payload,
a.topic_id,
a.post_id
FROM ai_api_audit_logs a
LEFT JOIN posts p ON p.id = a.post_id AND p.deleted_at IS NULL
LEFT JOIN topics t ON t.id = a.topic_id AND t.deleted_at IS NULL
WHERE a.created_at > CURRENT_DATE - INTERVAL '1 days'
AND p.deleted_at IS NULL
AND t.deleted_at IS NULL
AND p.user_deleted = false
AND a.feature_name = 'translation'
AND LENGTH(p.raw) < 1000
AND a.response_tokens > 10000
ORDER BY a.created_at DESC
LIMIT 100
Die Abfrage sollte Ihnen die Anzahl der verbrauchten Antwort-Tokens basierend auf der Rohlänge des Beitrags anzeigen. Idealerweise sollten Sie eine ähnliche Anzahl sehen, nicht mehr als das 1,5-fache der Tokens. Der AiApiAuditLog hilft bei der Ermittlung, was vor sich geht.
Teilen Sie uns außerdem bitte mit:
- Welches Modell verwenden Sie?
- Wie hoch ist Ihre Backfill-Stundenrate? Ich schlage vor, sie für den Anfang niedrig zu halten, z. B. 50.
- Wie viele Sprachen unterstützen Sie? Unterstützt Ihr ausgewähltes Modell diese?
Ich habe GPT-4.1 Nano als Übersetzungsmodell konfiguriert. Die stündliche Backfill-Rate war zuvor auf 1.000 eingestellt, aber heute habe ich sie auf 100 angepasst. Ich habe die Unterstützung für Japanisch und Englisch aktiviert, und dieses Modell unterstützt diese Sprachen tatsächlich.
Ja, 1000 ist wahrscheinlich keine gute Idee und ich sollte hier ein Website-Einstellungs-Limit hinzufügen.
Ich bin mir nicht sicher, wie die OpenAI API damit umgeht, etwa 3000 Mal pro Stunde aufgerufen zu werden. Grundsätzlich führen wir für Ihr Setup pro Beitrag durch: 
Spracherkennung, 
Übersetzung ins Japanische, 
Übersetzung ins Englische. Wenn Sie sich /logs ansehen, vermute ich, dass Sie sehen werden, wie Ihre Website Ratenlimits erreicht.
Ich schlage vor, sie immer noch auf 50 zu senken und zu sehen, wie es läuft.
Wir werden in naher Zukunft auch eine Möglichkeit implementieren, den Übersetzungsfortschritt der gesamten Website anzuzeigen.
1 „Gefällt mir“
Darüber hinaus liefert die Datenbank keine Ergebnisse, wenn ich den von Ihnen bereitgestellten Abfragebefehl ausführe. Gibt es vielleicht Bedarf an einer Anpassung oder Modifikation?
Hmm diese Abfrage sollte funktionieren. Haben Sie das discourse-data-explorer-Plugin?
Sehr gut, ich werde es zuerst versuchen. Danke.
Ich werde es danach installieren und es dann noch einmal versuchen. Derzeit ist es nicht machbar, das Forum neu aufzubauen, da die Benutzer es noch aktiv nutzen.