왜 AI 모델이 응답을 멈추나요?

지원
1

안녕하세요,
저는 Quen QwQ-32B 모델을 사용 중인데, 제 용도에는 잘 응답하지만 추론 속도가 상당히 느린 편입니다. 이 모델을 사용하다가 때때로 작성기(composer)에서 모델이 응답을 멈추고 파란 불이 깜빡이는 것도 중단됩니다. 타임아웃 문제일 것 같기도 한데 확실하지는 않습니다. Sam은 이 게시글에서 타임아웃이 6분으로 증가되었다고 언급했습니다.

https://meta.discourse.org/t/deepseek-r1-randomly-producing-job-exception-undefined-method-finish-for-nil-error/349703/3?u=brianc
생각(thinking) 과정은 길지만 6분에는 훨씬 못 미치며, 대략 2분 정도입니다.

아래는 로그에서 확인된 메시지입니다. 문제가 무엇일지 아이디어가 있으신 분 계신가요? InvalidParameters: persona_id에 대해서는 잘 모르겠습니다. 이것이 실패의 원인일 수도 있습니다.

어떤 통찰이나 조언이든 감사하겠습니다!

Error responding to: /t/group-study-setup-participants-passage-focus/1254/3 in LlmPersonaTriage.handle : Discourse::InvalidParameters : persona_id

/var/www/discourse/plugins/discourse-ai/lib/automation/llm_persona_triage.rb:6:in handle' /var/www/discourse/plugins/discourse-ai/discourse_automation/llm_persona_triage.rb:40:in block (2 levels) in ’
/var/www/discourse/plugins/automation/app/models/discourse_automation/automation.rb:141:in trigger!' /var/www/discourse/plugins/automation/app/jobs/regular/discourse_automation/trigger.rb:29:in execute’
/var/www/discourse/app/jobs/base.rb:316:in block (2 levels) in perform' rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:49:in with_connection’
rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in with_connection' /var/www/discourse/app/jobs/base.rb:303:in block in perform’
/var/www/discourse/app/jobs/base.rb:299:in each' /var/www/discourse/app/jobs/base.rb:299:in perform’
sidekiq-7.3.9/lib/sidekiq/processor.rb:220:in execute_job' sidekiq-7.3.9/lib/sidekiq/processor.rb:185:in block (4 levels) in process’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:180:in traverse' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:183:in block in traverse’
/var/www/discourse/lib/sidekiq/pausable.rb:132:in call' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:182:in traverse’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:183:in block in traverse' sidekiq-7.3.9/lib/sidekiq/job/interrupt_handler.rb:9:in call’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:182:in traverse' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:183:in block in traverse’
sidekiq-7.3.9/lib/sidekiq/metrics/tracking.rb:26:in track' sidekiq-7.3.9/lib/sidekiq/metrics/tracking.rb:134:in call’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:182:in traverse' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:173:in invoke’
sidekiq-7.3.9/lib/sidekiq/processor.rb:184:in block (3 levels) in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:145:in block (6 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_retry.rb:118:in local' sidekiq-7.3.9/lib/sidekiq/processor.rb:144:in block (5 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/config.rb:39:in block in <class:Config>' sidekiq-7.3.9/lib/sidekiq/processor.rb:139:in block (4 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/processor.rb:281:in stats' sidekiq-7.3.9/lib/sidekiq/processor.rb:134:in block (3 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_logger.rb:15:in call' sidekiq-7.3.9/lib/sidekiq/processor.rb:133:in block (2 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_retry.rb:85:in global' sidekiq-7.3.9/lib/sidekiq/processor.rb:132:in block in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_logger.rb:40:in prepare' sidekiq-7.3.9/lib/sidekiq/processor.rb:131:in dispatch’
sidekiq-7.3.9/lib/sidekiq/processor.rb:183:in block (2 levels) in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:182:in handle_interrupt’
sidekiq-7.3.9/lib/sidekiq/processor.rb:182:in block in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:181:in handle_interrupt’
sidekiq-7.3.9/lib/sidekiq/processor.rb:181:in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:86:in process_one’
sidekiq-7.3.9/lib/sidekiq/processor.rb:76:in run' sidekiq-7.3.9/lib/sidekiq/component.rb:10:in watchdog’
sidekiq-7.3.9/lib/sidekiq/component.rb:19:in `block in safe_thread’ ht to search.

3

정말 오직 그 오류들뿐이신가요? 오류 메시지는 트리아지를 페르소나로 구성한 후 삭제했다는 것을 나타냅니다.

4

샘, 감사합니다. /logs에서 확인된 오류는 그 두 가지뿐입니다. Triage를 만져보면서 페르소나를 삭제한 것으로 보입니다. 자동화 항목을 확인해서 모델이 없는 항목이 있는지 살펴보겠습니다.

이 문제가 AI가 응답을 멈추는 것과 관련이 있다고 생각하시나요? 6분 타임아웃은 셀프 호스팅 환경에서도 증가된 건지, 아니면 메타 디스코urs에만 적용되는 건가요?

5

6분 타임아웃이 실제로 존재하지만, 일부 모델에서 특정 테스트 중에도 타임아웃을 확인했기 때문에 잠재적인 엣지 케이스가 있을 수 있습니다.