Este guia explica como ativar e configurar o recurso de pesquisa por IA, que faz parte do plugin Discourse AI.
Nível de usuário necessário: Administrador
Semelhante a Tópicos Relacionados, a pesquisa por IA ajuda a encontrar os tópicos mais relevantes usando similaridade textual semântica que vão além de uma correspondência exata de palavra-chave usada pela pesquisa tradicional. Isso resulta na descoberta de tópicos que não são correspondências exatas, mas ainda são relevantes para a pesquisa inicial. Se você não consegue encontrar o que procura, a pesquisa por IA está aqui para ajudar!
Funcionalidades
- Similaridade textual semântica: vai além de apenas uma correspondência de palavra-chave e usa análise semântica para encontrar similaridade textual
- Pesquisa rápida por IA: adiciona automaticamente resultados de IA no pop-up do menu de pesquisa quando poucos resultados normais são encontrados (ativado com
ai_embeddings_semantic_quick_search_enabled) - Alternado entre ligado/desligado para pesquisa por IA na pesquisa de página inteira
- HyDE opcional (Hypothetical Document Embeddings): usa um LLM para expandir as consultas para melhores resultados
- Resultados indicados por um ícone
- Aplicável a usuários anônimos e logados
Ativando a Pesquisa por IA
Pré-requisitos
Para usar a Pesquisa por IA, você precisará configurar Embeddings. Um Modelo de Linguagem Grande (LLM) é opcionalmente necessário se você ativar o HyDE (Hypothetical Document Embeddings) para melhor qualidade de pesquisa.
Embeddings
Se você estiver em nossa hospedagem, forneceremos uma opção padrão. Para auto-hospedeiros, siga o guia em Discourse AI - Embeddings
Modelo de Linguagem Grande (LLM) (opcional — para HyDE)
Um LLM é necessário apenas se você ativar a configuração ai_embeddings_semantic_search_use_hyde, que usa um LLM para criar um documento hipotético a partir da consulta de pesquisa antes de incorporá-la. Isso pode melhorar a qualidade dos resultados, mas adiciona latência e custo.
Para começar, você pode configurá-los através da página de configurações do Discourse AI - Large Language Model (LLM).
- OpenAI
- Anthropic
- Azure OpenAI
- AWS Bedrock com acesso Anthropic
- Auto-hospedagem de um LLM OpenSource para DiscourseAI
- Google Gemini
Configuração
- Acesse
Admin→Plugins→Discourse AI→Features→Embeddingspara encontrar todas as configurações de pesquisa por IA - Ative
ai_embeddings_enabledpara Embeddings - Ative
ai_embeddings_semantic_search_enabledpara ativar a pesquisa por IA na pesquisa de página inteira - Opcionalmente, ative
ai_embeddings_semantic_quick_search_enabledpara adicionar resultados de IA no pop-up do menu de pesquisa - Opcionalmente, ative
ai_embeddings_semantic_search_use_hydepara usar HyDE para resultados aprimorados (requer um LLM)
FAQ Técnico
Expandir para um esboço da lógica de pesquisa de IA (com HyDE ativado)
mermaid height=255,auto
sequenceDiagram
User->>+Discourse: Pesquisar "gamificação"
Discourse->>+LLM: Criar um artigo sobre "gamificação" em um fórum sobre
<br/> "Discourse, um sistema de fórum de Internet de código aberto."
LLM->>+Discourse: Gamificação envolve a aplicação de elementos de design de jogos como
<br/> pontos, emblemas, níveis e placares a contextos que não são de jogos...
Discourse->>+EmbeddingsAPI: Gerar Embeddings para "Gamificação envolve a aplicação de design de jogo..."
EmbeddingsAPI->>+Discourse: [0.123, -0.321...]
Discourse->>+PostgreSQL: Me dê os tópicos mais próximos para [0.123, -0.321...]
PostgreSQL->>+Discourse: Tópicos: [1, 5, 10, 50]
Discourse->>+User: Tópicos: [1, 5, 10, 50]
Como funciona a Pesquisa por IA?
- Quando o HyDE está ativado (
ai_embeddings_semantic_search_use_hyde), a consulta de pesquisa é executada através de um LLM que cria um tópico/post hipotético. Embeddings são então gerados a partir desse post hipotético e usados para procurar correspondências semelhantes em seu site. Quando o HyDE está desativado (o padrão), a consulta de pesquisa é incorporada diretamente e usada para correspondência de similaridade. Em ambos os casos, os resultados são mesclados com os resultados de pesquisa regulares usando Reciprocal Rank Fusion (RRF) para reclassificar os principais resultados.
Como os dados de tópico/post são processados?
- Quando o HyDE está ativado, os dados do LLM são processados por um provedor terceirizado; consulte seu provedor específico para mais detalhes. Por padrão, o microsserviço de Embeddings é executado ao lado de outros servidores que hospedam seus fóruns existentes. Não há terceiros envolvidos aqui, e essa informação específica nunca sai de sua rede interna em nosso datacenter de rede privada virtual.
Para onde os dados vão?
- Quando o HyDE está ativado, um tópico/post hipotético criado pelo provedor do LLM é temporariamente armazenado em cache ao lado dos Embeddings para esse documento. Os dados de Embeddings são armazenados no mesmo banco de dados onde armazenamos seus tópicos, posts e usuários. É outra tabela de dados lá.
Como é o modelo “semântico” de Embeddings? Como ele foi “treinado” e existe uma maneira de testar se ele pode ser aplicado com precisão aos tópicos em nossas comunidades “especializadas”?
- Por padrão, usamos modelos open source pré-treinados, como este. Implementamos para muitos clientes e descobrimos que ele tem um bom desempenho tanto para comunidades de nicho quanto gerais. Se o desempenho não for bom o suficiente para o seu caso de uso, temos modelos mais complexos prontos para uso, mas em nossa experiência, a opção padrão é uma escolha sólida.