Já estou brincando com o bot e ele já é ótimo. Posso adicionar uma voz para habilitar a pesquisa semântica? Em meus experimentos até agora, isso tornaria o bot muito mais inteligente, pelo menos em nosso site. Se eu comparar os resultados que ele encontra e resume ou responde usando, eles são muito piores do que aqueles que ele usaria se estivesse fazendo pesquisa semântica.
Relacionado a isso, é possível habilitar a pesquisa semântica como padrão ao usar /? Novamente, acho que a maioria de nossos usuários preferiria os resultados. Temos muitos posts do tipo base de conhecimento que nem sempre usam as palavras-chave que as pessoas realmente diriam/pesquisariam, mas que são semanticamente relacionadas. Isso significa que uma pesquisa tradicional tende a apresentar posts de menor qualidade com pessoas discutindo problemas informalmente, e não a resposta canônica para a pergunta que elas têm.
Você pode compartilhar alguns exemplos de prompts/perguntas?
Eu também acho que o Bot de IA é de grande benefício para sites, mas minhas ideias de prompts/perguntas não são necessariamente as de outros e, portanto, estou procurando outros prompts/perguntas para possíveis fins de demonstração.
Sinceramente, mesmo que você usasse a pesquisa semântica atual como parte do fluxo de trabalho do bot, isso seria ótimo. Ela funciona bem agora, mas simplesmente não tem o contexto de informação correto, mesmo quando a pesquisa semântica atual as encontraria.
Seria ótimo ter controle sobre os prompts, mas consigo ver que a interface do usuário também é difícil nesse aspecto, pois seria fácil quebrar as coisas com o prompt errado. Acho que adicionar o conceito de uma persona para o bot, que é inserida como um prompt do sistema, pode ser uma boa introdução aí.
Com certeza, isso é algo que eu realmente quero, na verdade, quero que os administradores do fórum possam criar personas personalizadas com conjuntos de comandos personalizados.
Acho que a personalização de prompts pode ser muito útil para nós, embora, depois de ter feito um pouco de “engenharia de prompt” amadora para outro projeto recentemente, acho que exigirá um pouco de orientação e muitos exemplos para pessoas que não estão familiarizadas, e a interface do usuário provavelmente se beneficiaria de um conjunto de exemplos/escolhas padrão como “falante/divertido”, “neutro/preciso” até “erudito/nerd” para mostrar como as formulações de persona podem mudar a resposta.
Também descobri que avaliar o efeito das mudanças na formulação do prompt pode ser bastante difícil devido à aleatoriedade inerente dos modelos, e também porque os efeitos podem variar de acordo com o assunto do prompt. Seria bom desenvolver um conjunto de testes padrão de entradas do usuário e usá-los para dar uma prévia de como as mudanças de persona ou instrução alterariam as saídas do bot. Acho que isso também seria útil para sua equipe… embora, uma vez que o conjunto de testes fique grande, você terá o problema de como avaliá-lo sem levar muito tempo.
Outra dimensão que acho que os usuários podem querer ajustar com frequência é o quão estritamente o LLM se atém ao material de origem fornecido no prompt. Em meus testes, você precisa ser bastante explícito (e repetitivo) ao instruir o modelo a não importar conhecimento de fora do contexto e deixar claro (mais instruções) que você prefere não ter resposta a ter respostas ruins. Você também pode controlar o grau em que os modelos “mostram seus trabalhos” e citam fontes/dão exemplos, e acho que essa é muitas vezes uma boa maneira de evitar alucinações/respostas sem sentido quando o contexto não inclui a resposta real ou material relevante.
Um último comentário… vejo aqui que vocês têm se preocupado com custos e em ser econômicos com tokens, o que acho que faz sentido para sites muito grandes. No entanto, para aplicações menores ou de maior valor financeiro (por exemplo, suporte ao cliente), na verdade não acho que seria um grande problema, e isso só vai diminuir com o tempo. O custo de consultas extras a classificadores separados que verificam a resposta, ou implementam “grades de proteção” definidas pelo usuário, definitivamente valeria a pena para nós. Por exemplo, descobrimos que prompts como “esta resposta contém informações não encontradas nestas fontes” são bastante diagnósticos e definitivamente valem a pena executar antes de apresentar informações aos usuários. O GPT 3.5 é definitivamente bom para esse tipo de tarefa, mesmo que o trabalho principal seja executado com o GPT4.