Precisamos de cadeias de prompt: Permitir que ferramentas de persona AI personalizadas acessem LangChain.js e/ou um tempo de execução mais longo

Embora conectar o bot de IA a APIs externas tenha sido incrível, acho que seria muito útil para administradores/desenvolvedores poderem criar cadeias de prompts usando LCEL :link: no editor de ferramentas personalizadas para permitir fluxos de trabalho mais complexos e respostas inteligentes turboalimentadas. Ou talvez o editor de ferramentas personalizadas pudesse ter uma funcionalidade de “construtor de cadeias” que, essencialmente, apenas encapsula o LangChain em uma interface gráfica para o administrador :toolbox:.

Alternativamente, seria super útil permitir um tempo de execução superior a dois segundos para que uma cadeia de prompts possa ser hospedada em servidores diferentes e exposta ao servidor Discourse. 2 segundos é tempo suficiente para enviar alguns dados para a cadeia, deixá-la “pensar” através de sua cadeia e, em seguida, obter uma resposta :brain:. Mas isso é mais complexo e específico, e menos amigável para não engenheiros. A primeira proposta faz mais sentido.

Claro, ambas as opções introduzem riscos potenciais, então, idealmente, haveria um botão para ativar com um aviso/notificação anexo :warning:.

Mas por que fazer isso? Bem, fico feliz que você perguntou :D. :robot:

Comportamento/agência complexa de IA não é realmente alcançável apenas com um único prompt de sistema, e é precisamente por isso que o LangChain foi desenvolvido. Sou um pesquisador de IA :nerd_face: e estamos construindo uma arquitetura cognitiva baseada em LLM (por enquanto simples) que eventualmente interagirá com os usuários :mechanical_arm:. O Discourse seria o meio mais ideal pelo qual podemos liberar essa fera, especialmente porque pode ser acoplado ao plugin de automações — as possibilidades são verdadeiramente infinitas aqui e eu amo isso :heart_eyes:.

Estou confiante de que muitas outras empresas também se beneficiariam de poder aplicar agentes aos seus fóruns. LLMs são bastante impressionantes, no entanto, reconhecemos que elementos de IA simbólica (baseada em lógica/regras) ainda são aplicáveis em sistemas de IA maiores — como arquiteturas cognitivas que são construídas para otimizar em direção a um estado de objetivo particular.

:heart: Adoraria ouvir qualquer feedback, ideias e críticas sobre esta ideia! :heart:

Eu leio e entendo palavras, e é só isso - porque sou um usuário final sem conhecimento e compreensão básicos. E não tenho certeza se você está realmente tentando vender um conceito B2B ou algo útil para usuários em um ambiente de fórum. Ou ambos, essa é uma situação possível também.

Claro, é bom ter uma grande variedade de ferramentas e não há razão para que todos usem todas as ferramentas. É bom ter um estoque grande o suficiente para escolher.

Você pode dar exemplos práticos do que tudo isso pode oferecer ao negócio por trás de um fórum e para um usuário?

1 curtida

Bons pontos :smiley: Obrigado pela sua resposta

Poderíamos pensar em um número infinito de casos de uso conectando LLMs para atingir um objetivo, mas aqui está um exemplo simples e prático…

Digamos que exista um fórum para pesquisadores que precisam encontrar artigos de pesquisa novos de forma rápida e fácil. Poderíamos simplesmente usar a biblioteca http já disponível no construtor de ferramentas personalizadas do plugin de IA, então criar uma ferramenta que envia uma solicitação para algum banco de dados de artigos (por exemplo, arXiv ou periódicos acadêmicos revisados por pares). Mas isso é essencialmente apenas uma tentativa “única”.

Uma abordagem melhor seria encadear várias chamadas de LLM para adotar uma abordagem passo a passo para o problema:

  1. Converse com o usuário sobre qual é o tópico de pesquisa dele (repita isso algumas vezes para obter muitos detalhes)
  2. Resuma as necessidades do usuário de acordo com um modelo predefinido
  3. Transforme esse resumo em uma solicitação de API e receba uma lista de correspondências potenciais do banco de dados de artigos
  4. Analise o resumo de cada artigo para garantir que ele seja realmente relevante
  5. Apresente essa lista ao usuário e explique por que cada artigo é relevante para o tópico de pesquisa dele.

Isso não é o que estou trabalhando (não quero necessariamente divulgar meu modelo de negócios e arquitetura :D), mas é um exemplo simples e realista que está sendo abordado por alguns desenvolvedores.

Essencialmente, o que estou tentando vender aos usuários (através do adorável plugin de assinaturas) é o acesso a um bot de IA que é mais complexo do que apenas um prompt de sistema com uma ferramenta simples conectada a algum serviço que dispara de volta alguns dados (preços de ações, etc.). Mais complexo no sentido de que resolve um problema / responde a uma consulta do usuário em várias etapas, cada etapa utilizando um LLM com um prompt de sistema diferente. Isso é essencialmente o que o novo modelo o1 da OpenAI faz. :blush:

1 curtida

Se você pretende ganhar dinheiro com isso, talvez seja razoável que você envie um PR com a capacidade? Você considerou isso?

Acredito que eles estão adicionando suporte para o1, então por que não usar isso?

Chatbot pode já funcionar com o1, o que confirmarei quando puder testar sem gastar ainda mais dinheiro em minha conta para atingir o Nível 5! :moneybag: :moneybag: :moneybag:

2 curtidas

Eu definitivamente considerei isso, mas como pesquisador de IA, minha experiência/conhecimento de programação está concentrado em Python e bibliotecas como NumPy, PyTorch, etc. :nerd_face:. Não sei nada sobre Ruby e muito pouco sobre JavaScript. Embora, como me apaixonei pelo Discourse, tenho a resolução de começar lentamente a aprender isso, bem como o desenvolvimento de plugins do Discourse. :sweat_smile: Então, se você tiver alguma recomendação de recursos de aprendizado, ficarei grato!

o1 é legal e útil, e prevejo que o usarei com frequência para codificar, no entanto, o que estou trabalhando é uma arquitetura cognitiva, então é uma situação um pouco diferente. Estou mais na mentalidade de “quero construir algo com base em pesquisas nas ciências cognitivas computacionais, e seria legal se pudesse vender” e não realmente “tenho uma ideia e posso descarregá-la para a OpenAI e lucrar”. Espero que isso faça sentido :winking_face_with_tongue:.

Ah, sim, e nossa arquitetura cognitiva seria ~20 vezes mais barata que o o1 :grimacing:

1 curtida

Sim, o o1 está muito caro agora! :grimacing:

Aprenda fazendo, primeiro copiando plugins existentes e escolhendo primeiro funcionalidades fáceis para tornar o processo iterativo mais simples. Faça algo que você realmente precise, porque você precisará do incentivo para superar as barreiras que encontrar.

1 curtida