O problema de uso após usar tradução de IA

[nat (Natalie T)]

Olá, você seguiu estas recomendações?

@nat

Para cobrir algumas configurações e recomendações importantes:

• AI translation model - Recomendamos fortemente definir uma cota para o LLM que você escolher para o modelo de tradução.
• AI translation backfill hourly rate - esta configuração está oculta na interface do usuário e o padrão é 0. A tradução automática não começará se este valor for 0. Assumindo que a taxa seja 50, seu site traduzirá 50 posts, 50 tópicos e 50 categorias por hora, para os idiomas definidos em Content localization supported locales. Mantenha um número baixo ao começar.
• AI translation backfill max age days - o padrão é 5. Isso significa que tópicos e posts com mais de 5 dias não serão traduzidos. Você pode aumentar para um número grande para traduzir todos os tópicos e posts.

O gráfico de uso definitivamente parece preocupante. Você pode tentar esta consulta do explorador de dados:

SELECT 
  a.id,
  a.language_model,
  LENGTH(p.raw) as raw_length,
  a.response_tokens,
  a.raw_request_payload,
  a.raw_response_payload,
  a.topic_id,
  a.post_id
FROM ai_api_audit_logs a
LEFT JOIN posts p ON p.id = a.post_id AND p.deleted_at IS NULL
LEFT JOIN topics t ON t.id = a.topic_id AND t.deleted_at IS NULL
WHERE a.created_at > CURRENT_DATE - INTERVAL '1 days'
AND p.deleted_at IS NULL
AND t.deleted_at IS NULL
AND p.user_deleted = false
AND a.feature_name = 'translation'
AND LENGTH(p.raw) < 1000
AND a.response_tokens > 10000
ORDER BY a.created_at DESC
LIMIT 100

A consulta deve mostrar o número de tokens de resposta usados com base no comprimento bruto do post. Idealmente, você deve ver um número semelhante, não mais que 1,5x tokens. O AiApiAuditLog ajudará a determinar o que está acontecendo.

Além disso, por favor, compartilhe:

• Qual modelo você está usando?
• Qual é a sua taxa de preenchimento por hora? Sugiro mantê-la em um valor baixo, como 50 para começar.
• Quantos idiomas você está suportando? O modelo selecionado os suporta?