Acesso à API para o(s) embedding(s) de uma postagem

O bot de IA do Discourse utiliza RAG (Retrieval Augmented Generation) para postagens e, portanto, se o bot tiver sido ativado, cada postagem deverá ter um embedding associado, que é uma representação em espaço vetorial. Seria conveniente se esses embeddings pudessem ser acessados através da API.


À medida que mais de nós começarmos a usar IA no Discourse, podemos desejar recursos que atualmente não estão disponíveis. Como uma IA normalmente requer embeddings de postagens, que já estão presentes em sites do Discourse com o bot de IA ativo, faz sentido utilizar esses embeddings existentes em vez de duplicá-los.

Eu esperava que o bot de IA do Discourse pudesse acessar dados externos até agora, mas não encontrei nenhuma informação a respeito dessa capacidade. Portanto, estou explorando a criação de um GPT personalizado para o ChatGPT Plus e gostaria de aproveitar os embeddings pré-existentes.

1 curtida

Mesmo quando a API não estiver disponível para este caso de uso específico, você sempre poderá criar uma consulta SQL com o explorador de dados (tabelas que começam com ai_, como ai_topic_embeddings) e usar a API para obter os resultados da consulta.

Isso é suportado agora. O endpoint:

https://SITENAME/discourse-ai/embeddings/semantic-search.json?hyde=false&q=YOURQUERY

Realizará uma busca por similaridade vetorial.

Isso também é suportado agora usando ferramentas de IA personalizadas.

4 curtidas

Obrigado!

Isso poderia usar um tutorial sobre a importância disso, como construir consultas, que parecem ser um prompt, e como isso poderia ser usado para aprimorar um fórum Discourse.

Além disso, se alguém mudar o modelo de IA, digamos de OpenAI GPT para Claude, os embeddings serão diferentes, portanto, os impactos de tal mudança devem ser observados em um tutorial.

Eu frequento um fórum Zulip (Lean) e certamente sinto falta dos recursos de IA que o Discourse tem. (Matriz de recursos do Zulip)

image

image

image significando que o recurso não existe.
Parabéns à equipe do Discourse por aumentar com IA.

Se bem me lembro, o uso disso é gratuito porque o custo dos embeddings é tão baixo agora que não vale a pena cobrar. :wink: Obviamente, a equipe do Discourse precisa esclarecer essa declaração, mas tenho certeza de que outros podem se surpreender com a resposta.


Por curiosidade, tentei a URL em um site Discourse onde sou apenas um Usuário Básico (Nível de Confiança 1) e a consulta funcionou.

Como isso parece estar habilitado e disponível por padrão, em minha mente, considero se tal tecnologia é benéfica para os cegos que tentam usar a internet, isso é obviamente uma vitória para eles quando os pontos são conectados, o que significa que, se eles forem informados sobre isso, eles ou outros podem usá-lo para ajudá-los.

Como tal, observei isso em um tópico para cegos no fórum OpenAI.

1 curtida

Este tópico foi fechado automaticamente após 3 dias. Novas respostas não são mais permitidas.