¿Por qué deja de responder el modelo de IA?

Soporte
1

Hola,
Estoy usando Quen QwQ-32B que para mis propósitos responde bien, aunque con un razonamiento significativamente lento. Al usar el modelo, a veces en el compositor, el modelo deja de responder y la luz azul deja de parpadear. Pensé que podría ser un problema de tiempo de espera, pero no estoy seguro. Sam indicó en esta publicación que el tiempo de espera se aumentó a 6 minutos.

https://meta.discourse.org/t/deepseek-r1-randomly-producing-job-exception-undefined-method-finish-for-nil-error/349703/3?u=brianc
El pensamiento es largo, pero no llega a 6 minutos, tal vez unos 2.

Estos son los mensajes de los registros. ¿Alguna idea de cuál podría ser el problema? No estoy seguro de qué es InvalidParmeters: persona_id. Tal vez esto esté causando el fallo.

¡Cualquier información será apreciada!

Error al responder a: /t/group-study-setup-participants-passage-focus/1254/3 en LlmPersonaTriage.handle : Discourse::InvalidParameters : persona_id

/var/www/discourse/plugins/discourse-ai/lib/automation/llm_persona_triage.rb:6:in handle' /var/www/discourse/plugins/discourse-ai/discourse_automation/llm_persona_triage.rb:40:in block (2 levels) in ’
/var/www/discourse/plugins/automation/app/models/discourse_automation/automation.rb:141:in trigger!' /var/www/discourse/plugins/automation/app/jobs/regular/discourse_automation/trigger.rb:29:in execute’
/var/www/discourse/app/jobs/base.rb:316:in block (2 levels) in perform' rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:49:in with_connection’
rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in with_connection' /var/www/discourse/app/jobs/base.rb:303:in block in perform’
/var/www/discourse/app/jobs/base.rb:299:in each' /var/www/discourse/app/jobs/base.rb:299:in perform’
sidekiq-7.3.9/lib/sidekiq/processor.rb:220:in execute_job' sidekiq-7.3.9/lib/sidekiq/processor.rb:185:in block (4 levels) in process’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:180:in traverse' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:183:in block in traverse’
/var/www/discourse/lib/sidekiq/pausable.rb:132:in call' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:182:in traverse’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:183:in block in traverse' sidekiq-7.3.9/lib/sidekiq/job/interrupt_handler.rb:9:in call’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:182:in traverse' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:183:in block in traverse’
sidekiq-7.3.9/lib/sidekiq/metrics/tracking.rb:26:in track' sidekiq-7.3.9/lib/sidekiq/metrics/tracking.rb:134:in call’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:182:in traverse' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:173:in invoke’
sidekiq-7.3.9/lib/sidekiq/processor.rb:184:in block (3 levels) in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:145:in block (6 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_retry.rb:118:in local' sidekiq-7.3.9/lib/sidekiq/processor.rb:144:in block (5 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/config.rb:39:in block in <class:Config>' sidekiq-7.3.9/lib/sidekiq/processor.rb:139:in block (4 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/processor.rb:281:in stats' sidekiq-7.3.9/lib/sidekiq/processor.rb:134:in block (3 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_logger.rb:15:in call' sidekiq-7.3.9/lib/sidekiq/processor.rb:133:in block (2 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_retry.rb:85:in global' sidekiq-7.3.9/lib/sidekiq/processor.rb:132:in block in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_logger.rb:40:in prepare' sidekiq-7.3.9/lib/sidekiq/processor.rb:131:in dispatch’
sidekiq-7.3.9/lib/sidekiq/processor.rb:183:in block (2 levels) in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:182:in handle_interrupt’
sidekiq-7.3.9/lib/sidekiq/processor.rb:182:in block in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:181:in handle_interrupt’
sidekiq-7.3.9/lib/sidekiq/processor.rb:181:in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:86:in process_one’
sidekiq-7.3.9/lib/sidekiq/processor.rb:76:in run' sidekiq-7.3.9/lib/sidekiq/component.rb:10:in watchdog’
sidekiq-7.3.9/lib/sidekiq/component.rb:19:in `block in safe_thread’ para buscar.

3

¿Estás seguro de que esos son los únicos errores? El error indica que configuraste la clasificación con una persona y luego la eliminaste.

2 Me gusta
4

Gracias Sam, esos son los únicos errores de /logs. He estado jugando con Triage y he eliminado personas sin duda. Buscaré en las automatizaciones y veré si alguna no tiene modelo.

¿Crees que esto podría estar relacionado con el problema de que la IA deje de responder? ¿Se aumenta el tiempo de espera de 6 minutos para el autoalojado o solo para Meta Discourse?

5

el tiempo de espera de 6 minutos está ahí, pero también vi tiempos de espera en algunos modelos con algunas pruebas, por lo que podría haber algunos casos extremos ocultos.

2 Me gusta