Por que o modelo de IA para de responder

Suporte
1

Olá,
Estou usando o Quen QwQ-32B que, para minhas finalidades, responde bem, embora com raciocínio significativamente lento. Ao usar o modelo às vezes no compositor, o modelo para de responder e a luz azul para de piscar. Pensei que isso poderia ser um problema de tempo limite, mas não tenho certeza. Sam indicou nesta postagem que o tempo limite foi aumentado para 6 minutos.

https://meta.discourse.org/t/deepseek-r1-randomly-producing-job-exception-undefined-method-finish-for-nil-error/349703/3?u=brianc
O raciocínio é longo, mas não chega a 6 minutos, talvez uns 2.

Estas são as mensagens dos logs. Alguma ideia do que pode ser o problema. Não tenho certeza sobre o InvalidParmeters: persona_id. Talvez isso esteja causando a falha.

Qualquer insight será apreciado!

Error responding to: /t/group-study-setup-participants-passage-focus/1254/3 in LlmPersonaTriage.handle : Discourse::InvalidParameters : persona_id

/var/www/discourse/plugins/discourse-ai/lib/automation/llm_persona_triage.rb:6:in handle' /var/www/discourse/plugins/discourse-ai/discourse_automation/llm_persona_triage.rb:40:in block (2 levels) in ’
/var/www/discourse/plugins/automation/app/models/discourse_automation/automation.rb:141:in trigger!' /var/www/discourse/plugins/automation/app/jobs/regular/discourse_automation/trigger.rb:29:in execute’
/var/www/discourse/app/jobs/base.rb:316:in block (2 levels) in perform' rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:49:in with_connection’
rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in with_connection' /var/www/discourse/app/jobs/base.rb:303:in block in perform’
/var/www/discourse/app/jobs/base.rb:299:in each' /var/www/discourse/app/jobs/base.rb:299:in perform’
sidekiq-7.3.9/lib/sidekiq/processor.rb:220:in execute_job' sidekiq-7.3.9/lib/sidekiq/processor.rb:185:in block (4 levels) in process’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:180:in traverse' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:183:in block in traverse’
/var/www/discourse/lib/sidekiq/pausable.rb:132:in call' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:182:in traverse’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:183:in block in traverse' sidekiq-7.3.9/lib/sidekiq/job/interrupt_handler.rb:9:in call’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:182:in traverse' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:183:in block in traverse’
sidekiq-7.3.9/lib/sidekiq/metrics/tracking.rb:26:in track' sidekiq-7.3.9/lib/sidekiq/metrics/tracking.rb:134:in call’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:182:in traverse' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:173:in invoke’
sidekiq-7.3.9/lib/sidekiq/processor.rb:184:in block (3 levels) in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:145:in block (6 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_retry.rb:118:in local' sidekiq-7.3.9/lib/sidekiq/processor.rb:144:in block (5 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/config.rb:39:in block in <class:Config>' sidekiq-7.3.9/lib/sidekiq/processor.rb:139:in block (4 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/processor.rb:281:in stats' sidekiq-7.3.9/lib/sidekiq/processor.rb:134:in block (3 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_logger.rb:15:in call' sidekiq-7.3.9/lib/sidekiq/processor.rb:133:in block (2 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_retry.rb:85:in global' sidekiq-7.3.9/lib/sidekiq/processor.rb:132:in block in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_logger.rb:40:in prepare' sidekiq-7.3.9/lib/sidekiq/processor.rb:131:in dispatch’
sidekiq-7.3.9/lib/sidekiq/processor.rb:183:in block (2 levels) in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:182:in handle_interrupt’
sidekiq-7.3.9/lib/sidekiq/processor.rb:182:in block in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:181:in handle_interrupt’
sidekiq-7.3.9/lib/sidekiq/processor.rb:181:in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:86:in process_one’
sidekiq-7.3.9/lib/sidekiq/processor.rb:76:in run' sidekiq-7.3.9/lib/sidekiq/component.rb:10:in watchdog’
sidekiq-7.3.9/lib/sidekiq/component.rb:19:in `block in safe_thread’ para pesquisar.

3

Tem certeza de que esses são os únicos erros? O erro indica que você configurou o triage com uma persona e depois a excluiu.

2 curtidas
4

Obrigado Sam, esses são os únicos erros de /logs. Eu estava mexendo com o Triage e certamente excluí personas. Vou verificar as automações e ver se alguma está sem modelo.

Você acha que isso estaria relacionado ao problema de IA parando de responder? O timeout de 6 minutos é aumentado para auto-hospedado ou apenas para Meta Discourse?

5

o timeout de 6 minutos está realmente lá, mas também vi timeouts em alguns modelos com alguns testes, então pode haver alguns casos extremos à espreita

2 curtidas