일반적인 컨텍스트 길이(예: 128k)를 초과하는 주제들이 많고, 이로 인해 문제가 발생합니다. 가장 인기 있는 게시물들만을 기준으로 요약하는 방식을 고려해 본 적 있으신가요? 가장 인기 있는 게시물부터 시작하여 다음으로 인기 있는 게시물을 추가하고, 목표 컨텍스트 길이에 도달할 때까지 계속한 뒤, 그 결과 텍스트를 GPT로 전달하는 방식입니다. 적어도 저희 포럼의 경우 “좋아요” 수는 “가장 관련성이 높은” 것을 나타내는 매우 좋은 지표가 됩니다.
긴 주제에서는 이렇게 작동합니다. 주제 내에서 가장 많이 추천받은 상위 50개의 게시물을 사용합니다.
음, 긴 주제에서 요약이 멈추는 것 같아서 콘텐츠 길이 때문인 것 같다고 추측했어요. 이 문제를 디버깅하는 데 도움이 되는 팁이 있을까요? 저는 gpt-o4를 사용 중인데, OpenAI 대시보드에서 특정 API 요청을 볼 방법이 보이지 않아요.
ai_api_audit_logs 테이블에서 요청을 확인할 수 있습니다.
요약 생성 중 중단되는 문제에 대해, 최근 프론트엔드에서 관련 버그가 몇 건 발생했으므로, 최신 버전으로 사이트를 업데이트해 주시기 바랍니다.
에러 로그에서 다음 내용을 발견했습니다:
Request too large for gpt-4o in organization org-xxxxxxxxxxxxxxxxx on tokens per min (TPM): Limit 30000, Requested 45906.
한도를 높으려면 실제로 50달러(예산 설정만으로는 안 됨)를 지출하고, 약 1개월 + 7일을 기다려야 한다고 생각합니다.
지금까지 2.00달러만 지출했고 아직 결제할 금액도 없습니다. 또한 Discourse에서 토큰을 제한하는 방법을 찾지 못했습니다. 따라서 현재로서는 긴 주제에 대해 요약 기능을 사용할 수 있는 방법을 찾지 못했습니다.
아, 문제가 제한된 OpenAI 계정으로 인해 분당 토큰 수가 제한되어 있고, 이것이 Discourse에서 AI 요약 기능을 사용하는 데 영향을 미치고 있다는 것이군요.
정말 속상한 일이네요. Anthropic, AWS, Azure, Google Cloud 또는 Llama API 제공업체와 같은 대체 제공업체를 찾아보시는 것이 좋습니다. 해당 토큰 한도보다 더 높은 한도를 제공하는 무료 티어가 있는 제공업체들이 있다고 알고 있습니다.
요약 작업에 사용할 모델을 4o에서 4o-mini로 변경했는데, 가장 긴 주제에서도 잘 작동하는 것 같습니다. OpenAI는 GPT 모델마다 제한 사항이 다른 것 같습니다.