AI 번역 사용 후 발생하는 사용 문제

지원
,
1

공식 튜토리얼을 따라 Discourse AI를 번역용으로 설정하고, 과거 게시글을 며칠에 걸쳐 모두 번역하도록 설정했습니다. 실제로 상당한 양의 입력 및 출력 토큰이 사용되었습니다. 그러나 2일 후, 출력 없이 입력 토큰만 처리되는 상황을 마주했습니다. 원인이 무엇인지 모르겠습니다. 이미 이전 게시글이 모두 번역되었기 때문일까요? 그렇다면 입력 토큰을 줄여 비용을 절감할 수 있는 조치는 무엇일까요?

image
image2066×1180 105 KB

image
image2098×1166 152 KB

2

안녕하세요, 이 권장 사항들을 따르셨나요?

사용량 그래프가 분명히 우려스럽네요. 이 데이터 탐색기 쿼리를 시도해 보실 수 있을까요:

SELECT 
  a.id,
  a.language_model,
  LENGTH(p.raw) as raw_length,
  a.response_tokens,
  a.raw_request_payload,
  a.raw_response_payload,
  a.topic_id,
  a.post_id
FROM ai_api_audit_logs a
LEFT JOIN posts p ON p.id = a.post_id AND p.deleted_at IS NULL
LEFT JOIN topics t ON t.id = a.topic_id AND t.deleted_at IS NULL
WHERE a.created_at > CURRENT_DATE - INTERVAL '1 days'
AND p.deleted_at IS NULL
AND t.deleted_at IS NULL
AND p.user_deleted = false
AND a.feature_name = 'translation'
AND LENGTH(p.raw) < 1000
AND a.response_tokens > 10000
ORDER BY a.created_at DESC
LIMIT 100

이 쿼리는 게시물의 원본 길이(raw length)에 기반한 응답 토큰 사용량을 보여줄 것입니다. 이상적으로는 유사한 수치가 나와야 하며, 토큰 수가 1.5배를 초과하지 않아야 합니다. AiApiAuditLog를 통해 무슨 일이 일어나고 있는지 파악하는 데 도움이 될 것입니다.

추가로 다음 사항들도 공유해 주세요.

  • 어떤 모델을 사용하고 계신가요?
  • 백필 시간당 처리량은 얼마인가요? 처음에는 50과 같이 낮은 값으로 유지하는 것을 권장합니다.
  • 몇 가지 언어를 지원하고 계신가요? 선택한 모델이 해당 언어들을 지원하는가요?
4

GPT-4.1 Nano를 번역 모델로 설정했습니다. 시간당 백필 속도는 이전에 1,000으로 설정되어 있었지만, 오늘 100으로 조정했습니다. 일본어와 영어 모두에 대한 지원을 활성화했으며, 이 모델은 실제로 이 두 언어를 지원합니다.

5

네, 1000은 좋은 아이디어가 아닐 것 같고, 여기에 사이트 설정 한도를 추가해야 할 것 같습니다.

OpenAI API가 시간당 약 3000번의 요청을 받는 경우를 어떻게 처리하는지 확실하지 않습니다. 기본적으로 당신의 설정에서 게시글 하나당 다음 작업을 수행합니다: :one: 로케일 감지, :two: 일본어 번역, :three: 영어 번역. /logs를 확인해 보면 사이트가 레이트 리밋에 부딪히는 것을 볼 수 있을 것입니다.

아직 50으로 낮추고 어떻게 되는지 지켜보시는 것을 제안합니다.

가까운 미래에 전체 사이트의 번역 진행 상황을 확인할 수 있는 방법도 구현할 예정입니다.

6

또한, 제공해 주신 쿼리 명령을 실행하면 데이터베이스에서 결과가 반환되지 않습니다. 어떤 커스터마이징이나 수정이 필요한가요?

image
image1895×967 53.9 KB

7

음, 이 쿼리는 작동해야 하는데. discourse-data-explorer 플러그인을 설치해 두셨나요?

8

좋습니다, 제가 먼저 시도해 보겠습니다. 감사합니다.

9

나중에 설치한 뒤 다시 시도하겠습니다. 현재 사용자들이 여전히 포럼을 활발하게 사용 중이므로 포럼을 재구축하는 것은 현실적으로 어렵습니다.