AIモデルはなぜ応答しなくなるのですか

こんにちは。

私の目的にはQuen QwQ-32Bが適しており、応答は良好ですが、推論が著しく遅いです。コンポーザーでモデルを使用していると、モデルが応答しなくなり、青いライトの点滅が止まることがあります。タイムアウトの問題かと思いましたが、確信がありません。Samは、この投稿でタイムアウトが6分に延長されたと示しました。

https://meta.discourse.org/t/deepseek-r1-randomly-producing-job-exception-undefined-method-finish-for-nil-error/349703/3?u=brianc
思考に時間はかかりますが、6分にはほど遠く、せいぜい2分程度です。

以下はログからのメッセージです。問題の原因について何かアイデアはありますか? InvalidParmeters: persona_id が何を意味するのか分かりません。これが失敗の原因かもしれません。

何か洞察があれば教えてください!

/t/group-study-setup-participants-passage-focus/1254/3 への応答中にエラーが発生しました LlmPersonaTriage.handle : Discourse::InvalidParameters : persona_id

/var/www/discourse/plugins/discourse-ai/lib/automation/llm_persona_triage.rb:6:in handle' /var/www/discourse/plugins/discourse-ai/discourse_automation/llm_persona_triage.rb:40:in block (2 levels) in ’
/var/www/discourse/plugins/automation/app/models/discourse_automation/automation.rb:141:in trigger!' /var/www/discourse/plugins/automation/app/jobs/regular/discourse_automation/trigger.rb:29:in execute’
/var/www/discourse/app/jobs/base.rb:316:in block (2 levels) in perform' rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:49:in with_connection’
rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in with_connection' /var/www/discourse/app/jobs/base.rb:303:in block in perform’
/var/www/discourse/app/jobs/base.rb:299:in each' /var/www/discourse/app/jobs/base.rb:299:in perform’
sidekiq-7.3.9/lib/sidekiq/processor.rb:220:in execute_job' sidekiq-7.3.9/lib/sidekiq/processor.rb:185:in block (4 levels) in process’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:180:in traverse' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:183:in block in traverse’
/var/www/discourse/lib/sidekiq/pausable.rb:132:in call' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:182:in traverse’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:183:in block in traverse' sidekiq-7.3.9/lib/sidekiq/job/interrupt_handler.rb:9:in call’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:182:in traverse' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:183:in block in traverse’
sidekiq-7.3.9/lib/sidekiq/metrics/tracking.rb:26:in track' sidekiq-7.3.9/lib/sidekiq/metrics/tracking.rb:134:in call’
sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:182:in traverse' sidekiq-7.3.9/lib/sidekiq/middleware/chain.rb:173:in invoke’
sidekiq-7.3.9/lib/sidekiq/processor.rb:184:in block (3 levels) in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:145:in block (6 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_retry.rb:118:in local' sidekiq-7.3.9/lib/sidekiq/processor.rb:144:in block (5 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/config.rb:39:in block in <class:Config>' sidekiq-7.3.9/lib/sidekiq/processor.rb:139:in block (4 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/processor.rb:281:in stats' sidekiq-7.3.9/lib/sidekiq/processor.rb:134:in block (3 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_logger.rb:15:in call' sidekiq-7.3.9/lib/sidekiq/processor.rb:133:in block (2 levels) in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_retry.rb:85:in global' sidekiq-7.3.9/lib/sidekiq/processor.rb:132:in block in dispatch’
sidekiq-7.3.9/lib/sidekiq/job_logger.rb:40:in prepare' sidekiq-7.3.9/lib/sidekiq/processor.rb:131:in dispatch’
sidekiq-7.3.9/lib/sidekiq/processor.rb:183:in block (2 levels) in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:182:in handle_interrupt’
sidekiq-7.3.9/lib/sidekiq/processor.rb:182:in block in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:181:in handle_interrupt’
sidekiq-7.3.9/lib/sidekiq/processor.rb:181:in process' sidekiq-7.3.9/lib/sidekiq/processor.rb:86:in process_one’
sidekiq-7.3.9/lib/sidekiq/processor.rb:76:in run' sidekiq-7.3.9/lib/sidekiq/component.rb:10:in watchdog’
sidekiq-7.3.9/lib/sidekiq/component.rb:19:in `block in safe_thread’ 検索対象の

それらが唯一のエラーであることを確認してください。エラーは、トリアージをペルソナで構成してから削除したことを示しています。

「いいね!」 2

サム、ありがとう。/logs からのエラーはそれだけです。Triage をいじっていて、間違いなくペルソナを削除しました。自動化を確認して、モデルがないものがないか見てみます。

これは、AI が応答を停止する問題に関連していると思いますか?セルフホストの場合、6 分のタイムアウトは延長されますか、それとも Meta Discourse のみですか?

6分間のタイムアウトは確かにありますが、一部のモデルで一部のテストでタイムアウトが発生しているのも確認したので、いくつかのエッジケースが潜んでいる可能性があります。

「いいね!」 2