Quais são as diferenças entre o plugin oficial Discourse AI e o plugin Discourse Chatbot 🤖 em termos de bots de IA e seus recursos?
2 curtidas
@merefield o plugin existe há mais tempo e tem muito mais opções para configurá-lo. O AI Bot também é um pouco mais ambicioso (especialmente desde que temos acesso ao GPT 4) no sentido de que tentamos integrá-lo à experiência do Discourse - ele sabe como pesquisar e resumir tópicos, por exemplo.
Diferenças notáveis até hoje são provavelmente
- Transmitimos respostas e oferecemos um botão de parar
- @merefield oferece muito mais configurações para ajustar as coisas
- Oferecemos uma estrutura de “comando” para fazer o bot agir em seu nome - embora a experiência seja bastante instável com o GPT 3.5
- @merefield oferece integração de chat do Discourse no momento, nós ainda não
- Também oferecemos integração com a Anthropic
8 curtidas
A acrescentar: Pelos meus testes, parece que o AI Bot só funciona em Mensagens Privadas e o Chatbot funciona em todo o lado, a menos que eu esteja a fazer algo de errado com o AI bot.
A geração e transmissão de imagens são bem feitas, assim como a API de pesquisa, no entanto, por vezes ainda volta a “Não consigo pesquisar na web ou não consigo gerar imagens”. Está a usar algo semelhante a agentes LangChain, que decidem que passos tomar?
Devemos criar um CX com âmbito para a web completa, ou apenas para a nossa URL de instância?
2 curtidas
Isso está correto. Provavelmente alcançaremos uma integração mais ampla, mas estamos levando nosso tempo aqui e tentando aprimorar as coisas existentes primeiro.
Sim, essa é a coisa muito frustrante sobre o GPT 3.5 vs 4. Fundamentar o modelo para o 3.5 é simplesmente super difícil.
Estou considerando ter uma etapa intermediária antes de responder em GPT 3.5 que primeiro tria antes de realmente responder (Por exemplo: esta INTERAÇÃO parece que deve resultar em um !comando, se sim, qual?) Isso infelizmente adicionaria custo e atraso, então este é meu último recurso.
Usamos um “tipo de” langchain, limitado a 5 etapas, mas tentamos ser muito econômicos com tokens, então o equilíbrio é difícil.
A seu critério… Gosto de ter acesso a todo o Google, é muito útil.
4 curtidas
O que eu faço para fundamentar o 3.5 é adicionar um segundo prompt de sistema, mais curto, mais abaixo no prompt final para “lembrar” o modelo de algumas das regras no prompt de sistema principal.
Então ficaria algo como (digitando do celular, tentando…)
papel do sistema
usuário
assistente
..
..
papel do sistema “lembrete”
novo prompt do usuário
Apenas repetindo o conteúdo mais importante do papel do sistema, o modelo dá mais peso a ele. Tenho usado essa solução alternativa há alguns meses sem muitas respostas estranhas.
Especialmente se os prompts estão ficando mais longos, o modelo tende a “esquecer” coisas que estão mais acima no prompt final. As coisas em IA são muito improvisadas, é algo que experimento nos modelos GPT e no langchain também. Só hoje tive uma personalidade tão forte no langchain que as ações ao perguntar as horas em uma cidade aleatória foram “verificando meu relógio”, “mudando o fuso horário do meu relógio” e “perguntando a um estranho”.
4 curtidas