Проблема с использованием после перевода с помощью ИИ

Поддержка
,
1

Я следовал официальному руководству по настройке Discourse AI для перевода и настроил его на перевод всех предыдущих сообщений в течение нескольких дней. Действительно, это привело к значительному объему входных и выходных токенов. Однако через два дня я столкнулся с ситуацией, когда обрабатывались только входные токены, без каких-либо выходных данных. Я не уверен в причине — возможно, все предыдущие сообщения уже переведены? Если да, то какие меры я могу предпринять, чтобы уменьшить объем входных токенов и, следовательно, сократить расходы?

image
image2066×1180 105 KB

image
image2098×1166 152 KB

2

Привет! Вы следовали этим рекомендациям?

График использования выглядит действительно тревожно. Попробуйте выполнить этот запрос в Data Explorer:

SELECT 
  a.id,
  a.language_model,
  LENGTH(p.raw) as raw_length,
  a.response_tokens,
  a.raw_request_payload,
  a.raw_response_payload,
  a.topic_id,
  a.post_id
FROM ai_api_audit_logs a
LEFT JOIN posts p ON p.id = a.post_id AND p.deleted_at IS NULL
LEFT JOIN topics t ON t.id = a.topic_id AND t.deleted_at IS NULL
WHERE a.created_at > CURRENT_DATE - INTERVAL '1 days'
AND p.deleted_at IS NULL
AND t.deleted_at IS NULL
AND p.user_deleted = false
AND a.feature_name = 'translation'
AND LENGTH(p.raw) < 1000
AND a.response_tokens > 10000
ORDER BY a.created_at DESC
LIMIT 100

Запрос должен показать количество использованных токенов ответа в зависимости от исходной длины поста. В идеале вы должны увидеть сопоставимое число, не превышающее 1,5-кратного количества токенов. Таблица AiApiAuditLog поможет определить, что происходит.

Кроме того, пожалуйста, сообщите:

  • Какую модель вы используете?
  • Какова ваша почасовая ставка для заполнения (backfill)? Я рекомендую держать её на низком уровне, например, 50 для начала.
  • Сколько языков вы поддерживаете? Поддерживает ли выбранная вами модель их?
4

Я настроил GPT-4.1 Nano в качестве модели для перевода. Ранее почасовая скорость заполнения составляла 1000, но сегодня я изменил её на 100. Я включил поддержку японского и английского языков, и эта модель действительно поддерживает их.

5

Да, 1000, вероятно, не лучшая идея, и мне стоит добавить здесь ограничение в настройках сайта.

Не уверен, как API OpenAI реагирует на около 3000 запросов в час. В вашей конфигурации на один пост мы выполняем: :one: определение языка, :two: перевод на японский, :three: перевод на английский. Если вы проверите /logs, то, скорее всего, увидите, что ваш сайт достигает лимитов частоты запросов.

Предлагаю снизить значение ещё до 50 и посмотреть, как всё пойдёт.

В ближайшее время мы также внедрим возможность просмотра прогресса перевода всего сайта.

6

Кроме того, при выполнении предоставленной вами команды запроса база данных не возвращает никаких результатов. Возможно, требуется какая-то настройка или модификация?

image
image1895×967 53.9 KB

7

Хм, этот запрос должен сработать. У вас установлен плагин discourse-data-explorer?

8

Очень хорошо, я сначала попробую. Спасибо.

9

Я установлю это позже и попробую снова. В данный момент пересборка форума невозможна, так как пользователи продолжают активно его использовать.