Acabei de configurar o discourse-ai, gostaria de saber quais são as capacidades de RAG da IA?
Vejo que ela pode recuperar conteúdo de posts, mas tenho que perguntar várias vezes antes que ela realmente entenda que a informação deve ser encontrada dentro de um tópico.
Outras funcionalidades estão funcionando bem!
Uma persona tem uma seção de upload, você pode fazer upload de vários arquivos de texto para sua persona.
Veja: AI bot - Personas
Você precisará configurar o embedding para que isso funcione.
1 curtida
Obrigado, eu vi essa seção, isso é ótimo, mas ainda tenho algumas perguntas.
Algum contexto: usamos o Discourse como uma base de conhecimento e um fórum para responder a perguntas técnicas, temos toda a nossa documentação nele.
Usaremos a seção de upload da persona para alimentar os dados que não colocamos diretamente no fórum, como dados de documentos sobre nossa empresa.
Agora, para nossa documentação técnica que vive no fórum, gostaríamos de poder fazer perguntas sobre ela usando uma IA. Pelo que entendi, o chat do Discourse-AI não foi feito para isso e, conforme configurado nas ferramentas da persona, ele fará apenas uma pesquisa no fórum, além de algum processamento de IA?
É algo planejado para ter um chatbot habilitando recursos RAG no próprio fórum, inclusive sobre o conteúdo dos tópicos?
1 curtida
Isso é 100% compatível hoje com uma infinidade de opções de implementação.
- A ferramenta de pesquisa pode ser limitada a um grupo de categorias ou tags (quando você cria uma nova persona e adiciona a ferramenta de pesquisa)
- Ferramentas personalizadas oferecem flexibilidade extra aqui, você pode fazer requisições HTTP para o mesmo fórum e consumir qualquer coisa do fórum em qualquer formato que desejar… incluindo requisições HTTP para incorporar pesquisa… veja: API access to the embedding(s) for a post - #3 by sam. Ao fazer requisições HTTP em uma ferramenta personalizada, você pode especificar cabeçalhos HTTP para que possa usar uma chave de API que emite no fórum.
- A ferramenta de leitura permite que você leia tópicos
- Este PR em andamento permitirá que você pesquise seus uploads diretamente de uma ferramenta. (FEATURE: RAG search within tools by SamSaffron · Pull Request #802 · discourse/discourse-ai · GitHub) que é mais uma opção.
- Você pode controlar a modalidade (Mensagem Direta vs Chat) dependendo da sua preferência
Você pode ver um exemplo de implementação em ask.discourse.com (que foi projetado como um bot de suporte para nossos clientes) - o mais importante é que ele não envolve nenhum plugin personalizado, é tudo usando o plugin Discourse AI integrado.
6 curtidas
Aviso: Sou um usuário de fato e nem entendo como as IAs realmente funcionam. E eu uso a OpenAI.
Existem algumas razões pelas quais a IA não está dando a resposta desejada.
- O prompt dita onde e como ela pode pesquisar. Uma palavra errada e ela fará o que quiser.
- A IA não é como o Google com esteroides e habilidade para explicar as coisas, mesmo que seja um pouco. Ela pode encontrar os resultados certos, e quero dizer, tão mal quanto o Google. E ela não lê e analisa tudo, mas apenas… pensa que sim.
- RAG e embeddings funcionam, mas precisam de prompts extremamente rigorosos. Mas eles apenas dão uma direção, muitas vezes não uma base sólida para construir uma resposta. Apenas embeddings precisam de muito trabalho manual e, muitas vezes, os tópicos, novamente, por si só, não são suficientes. Um tópico ou uma postagem (pior ainda) podem ser precisos e lógicos o suficiente, mas na vida real? Não. É por isso que ask.discourse.com falha com bastante frequência, se não for feita uma pergunta muito limitada e direcionada. Como permito apenas domínios de e-mail específicos em registros? Pronto, você tem a resposta. Como recebo notificações quando uma caixa de PM de grupo tem novas mensagens? Muita alucinação e referências erradas.
A ideia mais perturbadora da OpenAI é que respostas erradas são aceitáveis. É uma questão de quantidade e, especificamente, quanto custarão a uma empresa essas respostas alucinadas e factualmente incorretas.
Muito verdadeiro para empresas, mas realmente ruim para aquele usuário.
As IAs podem ser muito precisas. Tudo o que é necessário é muita mão de obra para codificar e cuidar disso, e tanto poder de computação que minerar bitcoins é um hobby barato.
Meu ponto muito fraco é que apenas jogar manuais em tópicos não é suficiente.
Esta é uma percepção muito importante: você nunca termina de verdade com esses tipos de sistemas.
Acabamos repetindo o processo de
- O usuário pergunta à IA e obtém uma resposta ruim
- Nós revisamos
- Corrigimos a documentação, aceitamos uma resposta correta e excluímos as “minas terrestres” de pesquisa
- Fazemos a mesma pergunta e obtemos uma resposta correta
Estes não são o tipo de sistemas que você pode implantar e esquecer; eles precisam de ajuste constante.
Observe que nos ajuda muito se você desaprovar (dar polegar para baixo) em quaisquer respostas ruins.
3 curtidas
Isso é muito verdade. E há uma possibilidade realmente enorme de que minhas instruções sejam muito ruins.
Mas… os usuários finais estão usando esses bots e eles não são bons em escrever perguntas de alta qualidade, guiando a IA na direção certa para obter o que é necessário. E então o conhecimento que ganhei hoje, embora falso, levará a uma melhor qualidade em algum momento, não ajuda muito.
Não sei qual é o meu ponto, exceto que construir/treinar/ajustar uma IA que tenha uma taxa de acerto superior a 80% requer mais trabalho e conteúdo curado do que apenas publicar tópicos. E esse trabalho custa dinheiro (então espero que seu negócio cresça, porque eu adoro revisar, mesmo que essa funcionalidade esteja totalmente fora do tópico agora).
1 curtida
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.