Se o seu site Discourse é hospedado por nós, você pode ter notado um LLM chamado CDCK Hosted Model ou CDCK/MoM nas suas configurações de IA, impulsionando recursos como resumo, busca com IA e muito mais. Este tópico explica o que é e como funciona.
Versão resumida
CDCK/MoM (“Mixture of Models” / Mistura de Modelos) é o LLM integrado que fornecemos aos clientes hospedados sem custo adicional, alimentado pela cota diária de créditos de IA do seu site. Em vez de ser um único modelo, é uma camada de roteamento inteligente operada pela CDCK (a empresa por trás do Discourse) que envia cada solicitação para um de vários modelos de pesos abertos selecionados.
Por que uma mistura de modelos?
Diferentes recursos de IA têm necessidades diferentes. Resumir um tópico longo, gerar contextos de incorporação para busca e impulsionar uma persona assistente impõem demandas distintas a um modelo — o comprimento do contexto, a velocidade, a profundidade de raciocínio e o custo variam.
Em vez de vincular cada recurso a um único modelo, o CDCK/MoM roteia cada solicitação para o modelo mais adequado para a tarefa. Isso nos permite:
- Casar o modelo com a tarefa — tarefas rápidas recebem modelos rápidos; tarefas mais pesadas recebem modelos mais capazes.
- Manter-se atualizado — à medida que melhores modelos ficam disponíveis, podemos atualizar o pool em segundo plano. Seu site se beneficia imediatamente, sem necessidade de alterações de configuração da sua parte.
- Manter gratuito — o roteamento eficiente significa que podemos incluir uma cota diária generosa de créditos de IA nos planos de hospedagem.
Quais modelos estão por trás disso?
O pool atual consiste em:
Esse conjunto evoluirá ao longo do tempo à medida que o cenário de modelos abertos melhorar — esse é o ponto da camada de roteamento. Manteremos este tópico atualizado à medida que o pool mudar.
Como funcionam os créditos de IA?
Cada site hospedado com recursos de IA habilitados recebe uma cota diária de créditos de IA (medida em tokens). O uso do CDCK/MoM é descontado dessa cota, e ela é redefinida diariamente. Para a maioria das comunidades, a cota incluída cobre confortavelmente o uso diário dos recursos de IA integrados.
Mais sobre Créditos de IA em Unlock All Discourse AI Features with Our Hosted LLM e valores atuais por plano em Discourse pricing | Discourse - Civilized Discussion
Perguntas frequentes
Posso ainda usar meu próprio LLM?
Sim. O CDCK/MoM é um padrão, não um requisito. Você pode configurar suas próprias chaves de API para outros provedores nas suas configurações de IA e usá-las em conjunto ou em vez do CDCK/MoM.
Meus resultados variarão dependendo de qual modelo processa minha solicitação?
Os modelos no pool são selecionados para entregar qualidade consistente para os recursos que atendem. O roteamento é por tarefa, então um recurso específico se comportará de forma previsível.
Onde a inferência é executada e o que acontece com meus dados?
A inferência é executada nos mesmos servidores e datacenters onde executamos o próprio aplicativo Discourse. Ao usar o CDCK/MoM, seus dados nunca saem da nossa infraestrutura e não são compartilhados com nenhum provedor de IA de terceiros.
Perguntas? Faça-as abaixo.