回答におけるツールの連続使用の上限回数

Don · 2025 年 1 月 27 日午前 11:10

こんにちは

ウェブショップから情報を収集するためのカスタムツールを2つ作成しました。このような情報とは、ウェブショップ名、商品リンク、価格、在庫情報などです。これらの情報の後、結果を表形式で一覧表示します。

このために、組み込みのGoogle検索ツールに似たカスタムGoogle検索ツールを作成しましたが、結果の数を制限でき、このツール専用のプログラム可能な検索を作成できました。これは、結果に関連性の高いウェブショップのみを含めるために必要でした。
次のカスタムツールは、Discourseのウェブブラウジングツールに似ていますが、ウェブショップに特化して最適化しました。まず、<script type="application/ld+json"> 内にあるJSONベースの schema.org フォーマットの「Offer または Product」を検索し、その中で必要なデータ（価格、在庫情報）を検索します。これで結果が得られない場合は、itemtype に基づいて同様の検索を開始します。それでも結果が得られない場合は、ウェブブラウジングツールがデフォルトで行うこと、つまりページの主要コンテンツを確認して必要な情報を検索することが行われます。このツールに組み込まれたもう1つの重要な点は、トークン制限です。ブラウジング中の最大トークン制限を設定できます。現在は3000です。

しかし、このトピックを書いている理由は、ツールの使用に何らかの制限があるかどうかです。5回のツール使用後にプロセスが中断されることに気づきました。これも、カスタム検索で結果制限を組み込んだ理由です。ブラウザツールが成功するように4に設定しました。5に設定すると、5回目のツール使用でブラウザツールが失敗します。

例：1回のGoogle検索と連続5回のウェブブラウザ使用の後、/logs で警告が表示されます。

Message (3 copies reported)

DiscourseAi: Tool not found: tool-name

Backtrace

/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2.1/lib/active_support/broadcast_logger.rb:130:in `block in warn'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2.1/lib/active_support/broadcast_logger.rb:231:in `block in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2.1/lib/active_support/broadcast_logger.rb:231:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2.1/lib/active_support/broadcast_logger.rb:231:in `dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2.1/lib/active_support/broadcast_logger.rb:130:in `warn'
/var/www/discourse/plugins/discourse-ai/lib/ai_bot/bot.rb:158:in `block in reply'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:190:in `block (5 levels) in perform_completion!'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:190:in `each'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:190:in `block (4 levels) in perform_completion!'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:178:in `each'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:178:in `block (3 levels) in perform_completion!'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-protocol-0.2.2/lib/net/protocol.rb:535:in `call_block'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-protocol-0.2.2/lib/net/protocol.rb:526:in `<<'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-protocol-0.2.2/lib/net/protocol.rb:162:in `read'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:631:in `read_chunked'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:595:in `block in read_body_0'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:588:in `inflater'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:593:in `read_body_0'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:363:in `read_body'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:173:in `block (2 levels) in perform_completion!'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http.rb:2433:in `block in transport_request'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:320:in `reading_body'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http.rb:2430:in `transport_request'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http.rb:2384:in `request'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rack-mini-profiler-3.3.1/lib/patches/net_patches.rb:19:in `block in request_with_mini_profiler'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rack-mini-profiler-3.3.1/lib/mini_profiler/profiling_methods.rb:50:in `step'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rack-mini-profiler-3.3.1/lib/patches/net_patches.rb:18:in `request_with_mini_profiler'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:116:in `block in perform_completion!'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http.rb:1632:in `start'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http.rb:1070:in `start'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:99:in `perform_completion!'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/open_ai.rb:40:in `perform_completion!'
/var/www/discourse/plugins/discourse-ai/lib/completions/llm.rb:279:in `generate'
/var/www/discourse/plugins/discourse-ai/lib/ai_bot/bot.rb:115:in `reply'
/var/www/discourse/plugins/discourse-ai/lib/ai_bot/playground.rb:477:in `reply_to'
/var/www/discourse/plugins/discourse-ai/app/jobs/regular/create_ai_reply.rb:18:in `execute'
/var/www/discourse/app/jobs/base.rb:316:in `block (2 levels) in perform'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:49:in `with_connection'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in `with_connection'
/var/www/discourse/app/jobs/base.rb:303:in `block in perform'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in `with_connection'
/var/www/discourse/app/jobs/base.rb:299:in `each'
/var/www/discourse/app/jobs/base.rb:299:in `perform'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:202:in `execute_job'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:170:in `block (2 levels) in process'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/middleware/chain.rb:177:in `block in invoke'
/var/www/discourse/lib/sidekiq/pausable.rb:132:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/middleware/chain.rb:179:in `block in invoke'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/middleware/chain.rb:182:in `invoke'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:169:in `block in process'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:136:in `block (6 levels) in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/job_retry.rb:113:in `local'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:135:in `block (5 levels) in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq.rb:44:in `block in <module:Sidekiq>'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:131:in `block (4 levels) in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:263:in `stats'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:126:in `block (3 levels) in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/job_logger.rb:13:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:125:in `block (2 levels) in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/job_retry.rb:80:in `global'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:124:in `block in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/job_logger.rb:39:in `prepare'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:123:in `dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:168:in `process'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:78:in `process_one'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:68:in `run'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/component.rb:8:in `watchdog'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/component.rb:17:in `block in safe_thread'

これが何が原因なのか正確にはわかりませんが、おそらく制限があるのでしょう。もしそうなら、ペルソナまたはカスタムツールに、回答内のツールの連続使用回数を設定できる設定を追加する可能性はありますか？

編集：これが制限である可能性が高いものを見つけました。上記で言及した設定で上書きできると素晴らしいです。

github.com/discourse/discourse-ai

lib/ai_bot/bot.rb

fe44d7815


      
          # frozen_string_literal: true
          
          module DiscourseAi
            module AiBot
              class Bot
                attr_reader :model
          
                BOT_NOT_FOUND = Class.new(StandardError)
                MAX_COMPLETIONS = 5
                MAX_TOOLS = 5
          
                def self.as(bot_user, persona: DiscourseAi::AiBot::Personas::General.new, model: nil)
                  new(bot_user, persona, model)
                end
          
                def initialize(bot_user, persona, model = nil)
                  @bot_user = bot_user
                  @persona = persona
                  @model = model || self.class.guess_model(bot_user) || @persona.class.default_llm
                end

ありがとうございます

denvergeeks · 2025 年 1 月 27 日午後 5:33

DiscourseのWebブラウジングツールとは何ですか、どこで見つけられますか/入手できますか?!

Jagster · 2025 年 1 月 27 日午後 5:39

AIが使用できるツールを指していると思われます。そのため、AIペルソナの編集時に有効にすることができます。

MachineScholar · 2025 年 1 月 27 日午後 8:37

まだこの問題に遭遇したことはありませんが、もしそれが実際にハードコードされた制限であれば、それを上書きできるのは確かに素晴らしいでしょう！

プラグインによってデフォルトで提供されるペルソナには、「リサーチャー」というものがあります。それをチェックして、どのように機能するかを確認できます

Falco · 2025 年 1 月 27 日午後 8:52

使用しているLLMは何ですか？

LLMは、単一の応答で5つ以上の関数呼び出し（並列関数呼び出しなど）を返しますか？

そのLLMの応答を共有してもらえますか？

Don · 2025 年 1 月 27 日午後 10:15

GPT4o、GPT4o Mini、Gemini Flash 2です。正直、多くのLLMで試しました。

はい、これは強制ツールを設定し、ペルソナに確認させるシステムメッセージを追加した場合に発生します。例えば、「Google検索で見つかったすべてのウェブサイトを訪問する」といった具合です。これは私のユースケースにとって必要です。

例は、公開するには不適切なコンテンツが含まれる可能性があるため、プライベートメッセージでお送りします。その例では、ボットはGemini Flash 2を使用してGoogle検索とWebブラウザを使用しています。

sam · 2025 年 1 月 27 日午後 11:28

ここにバグがあると思います…一般的に、max_toolsはツール呼び出しによる巨大なチェーンを回避するために存在していましたが、おそらく2つの異なるタイプのmaxがあります。

返信する前にLLMとの往復回数の最大値
ツール呼び出しの最大量（これははるかに高くなる可能性があります）
ツールが注入できるコンテキストの最大量。（例：3回のツール呼び出しでコンテキストを使い果たし、さらに2回追加して、モデルが2回のツール応答を忘れる原因となった場合）

これについて考えてみます。解決可能です。

sam · 2025 年 4 月 3 日午前 6:02

最近、数値を大幅に引き上げましたが、現在の状況はどうですか？

トピック		返信	表示
Error using Claude 3.7 Sonnet with Discourse AI plugin Bug ai , ai-bot	11	771	2025 年 3 月 9 日
[Ai Bot] Add user token tracking, custom AI personas, max context posts, document loading, custom API URLs, and localized chat titles Feature ai , ai-bot	2	487	2024 年 3 月 22 日
Discourse AI - AI usage Site Management how-to , ai	0	370	2025 年 1 月 23 日
AI bot - Custom tools Site Management how-to , ai , ai-bot	6	1339	2025 年 9 月 26 日
Discourse AI - AI bot Site Management how-to , ai , ai-bot	51	15874	2025 年 11 月 13 日

回答におけるツールの連続使用の上限回数

関連トピック