Máximo uso consecutivo de ferramenta na resposta

Don · Janeiro 27, 2025, 11:10am

Olá

Criei duas ferramentas personalizadas para coletar informações de lojas online. Essas informações incluem o nome da loja, o link do produto, o preço e a disponibilidade de estoque. Após coletar essas informações, os resultados são listados em uma tabela.

Para isso, criei uma ferramenta personalizada de busca do Google que é semelhante à ferramenta de busca do Google integrada, mas permite limitar o número de resultados e criar uma busca programável separada que só essa ferramenta utiliza. Isso foi necessário para que os resultados contivessem apenas lojas online relevantes.
A próxima ferramenta personalizada é semelhante à ferramenta de navegação web do Discourse, mas otimizada especificamente para lojas online. Primeiro, ela busca o formato JSON schema.org " Offer ou Product " localizado em <script type="application/ld+json"> e, dentro dele, procura os dados necessários (preço, informações de estoque). Se isso não retornar resultados, ela começa a buscar o mesmo com base no itemtype. Se ainda assim não houver resultados, o comportamento padrão da ferramenta de navegação web é acionado, que é revisar o conteúdo principal da página e procurar as informações necessárias. Outra funcionalidade importante implementada é o limite de tokens, onde posso definir o limite máximo de tokens durante a navegação. Atualmente, é de 3000.

Mas o motivo pelo qual estou escrevendo este tópico é: existe algum tipo de limite no uso das ferramentas? Porque notei que após 5 usos de ferramentas o processo é interrompido. Este é outro motivo pelo qual implementei a limitação de resultados na busca personalizada. Defini para 4, pois assim a ferramenta de navegação funciona com sucesso. Se eu definir para 5, a ferramenta de navegação falhará no 5º uso.

Por exemplo: em uma resposta, após 1 busca no Google e 5 navegações web seguidas, recebo um aviso em /logs.

Message (3 copies reported)

DiscourseAi: Tool not found: tool-name

Backtrace

/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2.1/lib/active_support/broadcast_logger.rb:130:in `block in warn'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2.1/lib/active_support/broadcast_logger.rb:231:in `block in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2.1/lib/active_support/broadcast_logger.rb:231:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2.1/lib/active_support/broadcast_logger.rb:231:in `dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2.1/lib/active_support/broadcast_logger.rb:130:in `warn'
/var/www/discourse/plugins/discourse-ai/lib/ai_bot/bot.rb:158:in `block in reply'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:190:in `block (5 levels) in perform_completion!'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:190:in `each'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:190:in `block (4 levels) in perform_completion!'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:178:in `each'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:178:in `block (3 levels) in perform_completion!'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-protocol-0.2.2/lib/net/protocol.rb:535:in `call_block'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-protocol-0.2.2/lib/net/protocol.rb:526:in `<'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-protocol-0.2.2/lib/net/protocol.rb:162:in `read'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:631:in `read_chunked'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:595:in `block in read_body_0'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:588:in `inflater'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:593:in `read_body_0'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:363:in `read_body'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:173:in `block (2 levels) in perform_completion!'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http.rb:2433:in `block in transport_request'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:320:in `reading_body'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http.rb:2430:in `transport_request'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http.rb:2384:in `request'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rack-mini-profiler-3.3.1/lib/patches/net_patches.rb:19:in `block in request_with_mini_profiler'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rack-mini-profiler-3.3.1/lib/mini_profiler/profiling_methods.rb:50:in `step'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rack-mini-profiler-3.3.1/lib/patches/net_patches.rb:18:in `request_with_mini_profiler'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:116:in `block in perform_completion!'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http.rb:1632:in `start'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http.rb:1070:in `start'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:99:in `perform_completion!'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/open_ai.rb:40:in `perform_completion!'
/var/www/discourse/plugins/discourse-ai/lib/completions/llm.rb:279:in `generate'
/var/www/discourse/plugins/discourse-ai/lib/ai_bot/bot.rb:115:in `reply'
/var/www/discourse/plugins/discourse-ai/lib/ai_bot/playground.rb:477:in `reply_to'
/var/www/discourse/plugins/discourse-ai/app/jobs/regular/create_ai_reply.rb:18:in `execute'
/var/www/discourse/app/jobs/base.rb:316:in `block (2 levels) in perform'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:49:in `with_connection'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in `with_connection'
/var/www/discourse/app/jobs/base.rb:303:in `block in perform'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in `with_connection'
/var/www/discourse/app/jobs/base.rb:303:in `block in perform'
/var/www/discourse/app/jobs/base.rb:299:in `each'
/var/www/discourse/app/jobs/base.rb:299:in `perform'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:202:in `execute_job'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:170:in `block (2 levels) in process'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/middleware/chain.rb:177:in `block in invoke'
/var/www/discourse/lib/sidekiq/pausable.rb:132:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/middleware/chain.rb:179:in `block in invoke'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/middleware/chain.rb:182:in `invoke'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:169:in `block in process'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:136:in `block (6 levels) in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/job_retry.rb:113:in `local'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:135:in `block (5 levels) in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq.rb:44:in `block in <module:Sidekiq>'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:131:in `block (4 levels) in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:263:in `stats'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:126:in `block (3 levels) in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/job_logger.rb:13:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:125:in `block (2 levels) in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/job_retry.rb:80:in `global'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:124:in `block in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/job_logger.rb:39:in `prepare'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:123:in `dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:168:in `process'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:78:in `process_one'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/processor.rb:68:in `run'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/component.rb:8:in `watchdog'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/sidekiq-6.5.12/lib/sidekiq/component.rb:17:in `block in safe_thread'

Não sei exatamente o que causa isso, talvez seja uma limitação. Se for, há alguma chance de adicionar uma configuração na persona ou na ferramenta personalizada para definir o limite de uso consecutivo de ferramentas em uma resposta.

Editar: Encontrei isto, que provavelmente é o limite. Seria ótimo ter a capacidade de substituir com uma configuração que mencionei acima.

github.com/discourse/discourse-ai

lib/ai_bot/bot.rb

fe44d7815


      
          # frozen_string_literal: true
          
          module DiscourseAi
            module AiBot
              class Bot
                attr_reader :model
          
                BOT_NOT_FOUND = Class.new(StandardError)
                MAX_COMPLETIONS = 5
                MAX_TOOLS = 5
          
                def self.as(bot_user, persona: DiscourseAi::AiBot::Personas::General.new, model: nil)
                  new(bot_user, persona, model)
                end
          
                def initialize(bot_user, persona, model = nil)
                  @bot_user = bot_user
                  @persona = persona
                  @model = model || self.class.guess_model(bot_user) || @persona.class.default_llm
                end

Obrigado

denvergeeks · Janeiro 27, 2025, 5:33pm

O que é a Ferramenta de Navegação na Web do Discourse e onde posso encontrá-la/obtê-la?!

Jagster · Janeiro 27, 2025, 5:39pm

Eu acho que se refere a ferramentas que uma IA pode usar. Portanto, estas podem ser ativadas ao editar personas de IA.

MachineScholar · Janeiro 27, 2025, 8:37pm

Ainda não encontrei esse problema, mas se for realmente uma limitação codificada, seria muito legal poder substituí-la!

Nas personas fornecidas pelo plugin por padrão, existe a “Pesquisador”. Você pode dar uma olhada para ver como funciona

Falco · Janeiro 27, 2025, 8:52pm

Qual LLM você está usando?

Seu LLM está retornando mais de 5 chamadas de função em uma única resposta, como se fossem chamadas de função paralelas?

Você pode compartilhar essa resposta do LLM?

Don · Janeiro 27, 2025, 10:15pm

GPT4o, GPT4o Mini, Gemini Flash 2. Honestamente, eu tentei com muitos LLMs.

Sim, isso acontece quando configuro Ferramentas Forçadas e adiciono uma mensagem de sistema à Persona para verificar as coisas. Por exemplo: “visite todos os sites encontrados na pesquisa do Google”. Isso é necessário para um caso de uso que tenho.

Vou te enviar um exemplo por mensagem privada porque pode ser conteúdo inadequado para o público. Nesse exemplo, o bot está usando o Google Search e o Web Browser com Gemini Flash 2.

sam · Janeiro 27, 2025, 11:28pm

Acho que vejo o bug aqui… geralmente max_tools estava lá para evitar grandes cadeias com chamadas de ferramentas, mas provavelmente existem 2 tipos diferentes de max:

Max de vezes que fazemos ida e volta com o LLM antes de responder
Quantidade máxima de chamadas de ferramentas (que pode ser muito maior)
Max de contexto que as ferramentas podem injetar. (por exemplo, se você estourar o contexto em 3 chamadas de ferramentas e depois adicionar mais 2 que fazem o modelo esquecer 2 respostas de ferramentas)

Vou pensar sobre isso, é solucionável.

sam · Abril 3, 2025, 6:02am

recentemente aumentei bastante os números, como está agora?

Tópico		Respostas	Visualizações
Error using Claude 3.7 Sonnet with Discourse AI plugin Bug ai , ai-bot	11	765	9 de Março de 2025
[Ai Bot] Add user token tracking, custom AI personas, max context posts, document loading, custom API URLs, and localized chat titles Feature ai , ai-bot	2	486	22 de Março de 2024
Discourse AI - AI usage Site Management how-to , ai	0	364	23 de Janeiro de 2025
AI bot - Custom tools Site Management how-to , ai , ai-bot	6	1324	26 de Setembro de 2025
Discourse AI - AI bot Site Management how-to , ai , ai-bot	51	15831	13 de Novembro de 2025

Máximo uso consecutivo de ferramenta na resposta

Tópicos relacionados