Se o seu site do Discourse é hospedado por nós, talvez você tenha percebido um LLM chamado CDCK Hosted Model ou CDCK/MoM nas configurações de IA, responsável por recursos como resumo, busca com IA, entre outros. Este tópico explica o que ele é e como funciona.
A versão resumida
O CDCK/MoM (“Mixture of Models” — Mistura de Modelos) é o LLM integrado que oferecemos a clientes com hospedagem sem custo adicional, utilizando a cota diária de créditos de IA do seu site. Em vez de ser um único modelo, é uma camada inteligente de roteamento operada pela CDCK (a empresa por trás do Discourse) que envia cada requisição a um de vários modelos de pesos abertos selecionados.
Por que uma mistura de modelos?
Recursos diferentes de IA têm necessidades diferentes. Resumir um tópico longo, gerar contextos de embeddings para busca e alimentar uma persona assistente exigem coisas distintas de um modelo — tamanho de contexto, velocidade, profundidade de raciocínio e custo variam bastante.
Em vez de vincular todos os recursos a um único modelo, o CDCK/MoM direciona cada requisição ao modelo mais adequado para a tarefa. Isso nos permite:
- Adequar o modelo à tarefa — tarefas rápidas usam modelos ágeis; tarefas mais complexas usam modelos mais capazes.
- Manter-se atualizado — à medida que modelos melhores surgem, atualizamos o conjunto em segundo plano. Seu site se beneficia imediatamente, sem nenhuma alteração de configuração do seu lado.
- Manter tudo gratuito — o roteamento eficiente nos permite incluir uma cota diária generosa de créditos de IA nos planos de hospedagem.
Quais modelos estão por trás dele?
O conjunto atualmente consiste em:
Essa seleção vai evoluir ao longo do tempo conforme o cenário de modelos abertos melhora — essa é justamente a proposta da camada de roteamento. Vamos atualizar este tópico à medida que o conjunto mudar.
Como funcionam os créditos de IA?
Cada site hospedado com recursos de IA ativados recebe uma cota diária de créditos de IA (medida em tokens). O uso do CDCK/MoM consome dessa cota, e ela é reiniciada diariamente. Para a maioria das comunidades, a cota incluída cobre confortavelmente o uso diário dos recursos de IA integrados.
Mais sobre Créditos de IA em Unlock All Discourse AI Features with Our Hosted LLM e os valores atuais por plano em Discourse pricing | Discourse - Civilized Discussion
Perguntas frequentes
Ainda posso trazer meu próprio LLM?
Sim. O CDCK/MoM é uma opção padrão, não um requisito. Você pode configurar suas próprias chaves de API para outros provedores nas configurações de IA e usá-las em conjunto ou em vez do CDCK/MoM.
Meus resultados vão variar dependendo de qual modelo atende minha requisição?
Os modelos do conjunto são selecionados para entregar qualidade consistente nos recursos que atendem. O roteamento é feito por tarefa, então um recurso específico terá um comportamento previsível.
Onde a inferência é executada e o que acontece com meus dados?
A inferência é executada nos mesmos servidores e datacenters onde executamos a aplicação Discourse. Ao usar o CDCK/MoM, seus dados nunca saem da nossa infraestrutura e não são compartilhados com nenhum provedor de IA de terceiros.
Perguntas? Manda aí nos comentários.