בעיית השימוש לאחר שימוש בתרגום AI

[co_choa]

I followed the official tutorial to configure Discourse AI for translation and set it to translate all past posts over a span of days. Indeed, this resulted in a substantial amount of input and output tokens. However, after two days, I encountered a situation where only input tokens were being processed without any output. I am unsure of the cause—could it be that all the previous posts have already been translated? If so, what measures can I take to reduce token input and thereby conserve costs?

[nat (Natalie T)]

Hey there, have you followed these recommendations?

@nat

To cover some important settings and recommendations:

• AI translation model - We highly recommend setting a quota to the LLM you choose for the translation model.
• AI translation backfill hourly rate - this setting is hidden in the UI and defaults to 0. Automatic translation will not begin if this value is 0. Assuming the rate is 50, your site will translate 50 posts, 50 topics, and 50 categories per hour, to the locales you have set in Content localization supported locales. Keep this to a low number when starting out.
• AI translation backfill max age days - defaults to 5. This means topics and posts older than 5 days will not be translated. You may increase this to a large number to translate all topics and posts.

The usage graph definitely looks concerning. Can you try out this data explorer query:

SELECT 
  a.id,
  a.language_model,
  LENGTH(p.raw) as raw_length,
  a.response_tokens,
  a.raw_request_payload,
  a.raw_response_payload,
  a.topic_id,
  a.post_id
FROM ai_api_audit_logs a
LEFT JOIN posts p ON p.id = a.post_id AND p.deleted_at IS NULL
LEFT JOIN topics t ON t.id = a.topic_id AND t.deleted_at IS NULL
WHERE a.created_at > CURRENT_DATE - INTERVAL '1 days'
AND p.deleted_at IS NULL
AND t.deleted_at IS NULL
AND p.user_deleted = false
AND a.feature_name = 'translation'
AND LENGTH(p.raw) < 1000
AND a.response_tokens > 10000
ORDER BY a.created_at DESC
LIMIT 100

The query should show you the number of response tokens used based on the post’s raw length. Ideally you should see a similar number, not more than 1.5x tokens. The AiApiAuditLog will help with determining what is going on.

Additionally please share,

• What model are you using?
• What’s your backfill hourly rate? I suggest to keep it to a low value, like 50 for starters.
• How many languages are you supporting? Does your selected model support them?

[co_choa]

הגדרתי את GPT-4.1 Nano כמודל התרגום. קצב ה-backfill השעתי נקבע בעבר על 1,000, אך היום התאמתי אותו ל-100. הפעלתי תמיכה הן ביפנית והן באנגלית, ומודל זה אכן תומך בשפות אלו.

[nat (Natalie T)]

כן, 1000 זה כנראה לא רעיון טוב ואני צריך להוסיף כאן מגבלה של הגדרות אתר.

אני לא בטוח איך ה-API של OpenAI מתמודד עם פגיעה של כ-3000 פעמים בשעה. בעצם עבור ההגדרה שלך, לכל פוסט אנו מבצעים: 1: זיהוי שפה, 2: תרגום ליפנית, 3: תרגום לאנגלית.

אני מציע להוריד את זה עדיין ל-50 ולראות איך זה הולך.

נחיל דרך להציג את התקדמות התרגום של כל האתר גם בעתיד הקרוב.

[co_choa]

Furthermore, when I execute the query command you provided, the database returns no results. Is there perhaps a need for some customization or modification?

[nat (Natalie T)]

מעניין, השאילתה הזו אמורה לעבוד. האם יש לך את התוסף discourse-data-explorer?

[co_choa]

בסדר גמור, אני אנסה זאת קודם. תודה.

[co_choa]

אני אתקין אותו לאחר מכן ואנסה שוב. כרגע, בנייה מחדש של הפורום אינה אפשרית מכיוון שהמשתמשים עדיין משתמשים בו באופן פעיל.