Consegui fazer funcionar! Muito obrigado!
2 curtidas
Ótimo!
Mas, aha, o Ro-Bot mentiu (esta é uma limitação com LLMs).
O Ro-Bot não poderia saber disso a menos que você o adicione ao prompt do sistema, mas qualquer consulta consumirá sua cota (até que você fique sem cota).
2 curtidas
Bom saber! LOL. Eu deveria adicionar isso caso alguém pergunte. 
1 curtida
Olá a todos,
@merefield Muito obrigado pelo plugin incrível e por todo o seu trabalho árduo! Agradeço muito suas contribuições.
Estou buscando orientação sobre como usar melhor embeddings e prompts. Atualmente, tenho o OpenAI funcionando bem com o gpt4o-mini, então espero que ele funcione da mesma forma com embeddings. Meu plano é inventar um termo e algumas informações de fundo, depois perguntar à IA sobre ele para ver se ela retorna o termo inventado.
Uma coisa que não está totalmente clara para mim: quando você configura uma categoria para indexação, todo o tópico é incluído no prompt se uma correspondência relevante for encontrada, ou é apenas a parte específica do texto usada para criar o embedding? Estou tentando decidir se é melhor ter tópicos menores e mais focados ou mais longos e detalhados, especialmente porque o uso eficiente de tokens é importante.
Outra área que estou explorando é a relação entre diferentes entradas de prompt. Tenho testado a configuração chatbot.prompt.system.basic.open e o texto oculto que você pode fornecer ao bot para moldar suas respostas. Sei que eles funcionam juntos de alguma forma, mas não tenho certeza de como. Por exemplo, se eu incluir instruções como “Você é alguém, por favor, faça A, B, C” no prompt do sistema, parece menos eficaz do que incluí-las no prompt de texto oculto. Estou tentando entender melhor esses conceitos e descobrir a melhor abordagem.
Agradeço antecipadamente por qualquer insight que você possa compartilhar!
Olá Brian,
Os Títulos do Tópico são incorporados e os Posts são incorporados separadamente.
Uma consulta pode ser correspondida contra qualquer um e retornar os posts relevantes.
Depois de usar embeddings, você vai querer mudar para os prompts do sistema do bot RAG.
Você quer chatbot.prompt.system.rag.open (para respostas públicas) e chatbot.prompt.system.rag.private para respostas privadas em MPs e DMs. Essa distinção foi originalmente introduzida para que você possa fazer algo um pouco diferente quando estiver usando um bot de suporte 1 para 1 (se assim desejar, mas você pode mantê-los idênticos).
Por texto oculto, você quer dizer os prompts adicionais específicos da categoria?
Eu uso isso principalmente para dar as boas-vindas a novas pessoas quando elas postam na minha categoria de introdução. Mas tenho certeza de que pode ter usos criativos além disso.
Isso é feito de forma um pouco diferente. É postado como um prompt de usuário oculto, em vez de parte do bot, por exemplo:
Dê-me uma calorosa recepção ao fórum, por favor! Diga-me que todos são muito amigáveis aqui e ansiosos para ajudar! Incentive-me a ler o Tópico de Boas-Vindas se eu ainda não o fiz aqui: LINK e as diretrizes de postagem aqui: LINK
Como resultado, é melhor escrevê-lo em primeira pessoa.
Obrigado, Robert, às vezes são as coisas simples. Mesmo tendo lido para usar o prompt .rag, continuei usando o basic.open.
Ainda estou tentando entender o que é enviado para a OpenAI como prompt para o Rag. É todo o embedding? Então, se eu criar um tópico que seja bastante extenso, todo o prompt extenso será enviado como prompt? Em outras palavras, é mais barato em termos de tokens criar 2 tópicos curtos que sejam mais precisos do que um tópico com todas as informações. Ainda estou tentando descobrir a abordagem mais sensata para ser eficiente.
Se você alterar as configurações de log e desviar informações para aviso (essas configurações são as últimas nas configurações do plugin), você poderá ler todas as chamadas para a API em /logs
Lembre-se de alterá-las de volta se não quiser poluir os logs.
Olá, Robert.
Toda vez que faço login no chatbot, ele diz: “Olá, como posso ajudar você com o HappyBooks hoje?”. Eu gostaria que o chat respondesse apenas quando eu o contatasse por texto.
Como posso fazer isso?
1 curtida
Olá Willie
Se você usar o botão Quicklaunch, ele sempre falará primeiro, a menos que você desative esta configuração:
1 curtida
E esse é um erro de ortografia ESTRONDOSO (que eu vou corrigir) 
2 curtidas
Como faço para que o chatbot responda apenas perguntas sobre o site e não perguntas como 5 + 5 = ?
Usando um prompt de sistema onde você nega absolutamente responder a tais perguntas, com exemplos.
Mas boa sorte com isso. Não sei o quão bem outros LLMs aderem a tais regras, mas os modelos da OpenAI podem ou não segui-las. Mesmo que o façam como pretendido aqui, agora e para você, a situação provavelmente será totalmente oposta em outras postagens, amanhã e para outros usuários.
2 curtidas
Sim, uma abordagem alternativa é simplesmente gerenciar o acesso com o sistema de cotas fornecido. Se os usuários quiserem somar 5 e 5 em uma mensagem privada, isso depende deles, mas eles consomem sua cota ao fazê-lo.
De qualquer forma, acho que isso não consumirá muitos tokens
Em público, ainda cabe aos moderadores revisar o conteúdo emergente no site, como em qualquer nova postagem.
Em meus próprios sites, eu regularmente designo meu bot para fazer todo tipo de coisa que talvez não seja central para o tópico principal dos sites 
(embora em particular e dentro da minha cota)
1 curtida
5+5=10
Isso aconteceu automaticamente pelo iOS (e é realmente irritante às vezes).
Se isso fosse contado pelo chatbot da OpenAI, não custaria praticamente nada.
2 curtidas
Olá @merefield, está configurado para funcionar com o Perplexity por acaso, já que ele também usa o modelo GPT.
Se você conseguir encontrar um proxy, talvez. Mas sem toda essa confusão, apenas OpenAI.
Sou apenas um desenvolvedor solo, então tive que manter o escopo sensato.
1 curtida
Claro, vou tentar e atualizarei você sobre o mesmo.
Olá @merefield, eu estava achando que a IA não estava seguindo bem o prompt. Parece que está sendo truncado dos logs.
O prompt completo que salvei no prompt do sistema está abaixo. Este foi selecionado apenas como um prompt de teste.
Prompt de Persona de Chatbot Comediante. Você é um chatbot comediante, um artista virtual projetado para trazer risadas e alegria a cada conversa. Seu tom é leve, espirituoso e envolvente, com um talento para o timing cômico e um repertório que abrange uma ampla variedade de estilos de humor. Seu papel é ser a alma da festa digital, fazendo observações inteligentes, entregando piadas e adaptando seu humor ao contexto e às preferências de seu público.
O log mostra apenas 1 linha ou meus prompts estão sendo cortados?
Não encontrei nenhuma configuração e não tive problemas com limites anteriormente com a OpenAI.
Obrigado! Brian
Desativei o Chatbot ontem à noite porque a “primeira resposta” seguiu o prompt da categoria muito mal. Quase nada. Eu estava pensando em enviar uma PM quando souber de algo mais robusto, mas aqui estamos. E a conversa mais normal também não foi tão boa em relação a seguir o prompt do sistema.
Sim, a interface trunca a saída.
Você ainda deve ser capaz de encontrar o conteúdo completo no arquivo production.log no local usual.
(tail shared/standalone/log/rails/production.log do diretório Discourse)
1 curtida