Se o seu site Discourse for hospedado por nós, você pode ter notado um LLM chamado CDCK Hosted Model ou CDCK/MoM nas configurações de IA, alimentando recursos como resumo, pesquisa com IA e muito mais. Este tópico explica o que é e como funciona.
A versão curta
CDCK/MoM (“Mistura de Modelos”) é o LLM integrado que fornecemos aos clientes hospedados sem custo adicional, alimentado pela cota diária de créditos de IA do seu site. Em vez de ser um único modelo, é uma camada de roteamento inteligente operada pela CDCK (a empresa por trás do Discourse) que envia cada solicitação para um de vários modelos de pesos abertos selecionados.
Por que uma mistura de modelos?
Diferentes recursos de IA têm necessidades diferentes. Resumir um tópico longo, gerar contexto de incorporação de pesquisa e alimentar uma persona de assistente impõem demandas diferentes em um modelo — comprimento do contexto, velocidade, profundidade de raciocínio e custo variam.
Em vez de vincular cada recurso a um único modelo, o CDCK/MoM roteia cada solicitação para o modelo mais adequado para a tarefa. Isso nos permite:
- Corresponder o modelo à tarefa — tarefas rápidas usam modelos rápidos; tarefas mais pesadas usam modelos mais capazes.
- Manter-se atualizado — à medida que modelos melhores ficam disponíveis, podemos atualizar o pool nos bastidores. Seu site se beneficia imediatamente, sem alterações de configuração do seu lado.
- Manter gratuito — o roteamento eficiente significa que podemos incluir uma cota generosa de créditos de IA diariamente nos planos de hospedagem.
Quais modelos estão por trás disso?
O pool atualmente consiste em:
Esta linha evoluirá com o tempo à medida que o cenário de modelos abertos melhorar — esse é o ponto da camada de roteamento. Manteremos este tópico atualizado conforme o pool mudar.
Como funcionam os créditos de IA?
Cada site hospedado com recursos de IA habilitados recebe uma cota diária de créditos de IA (medida em tokens). O uso do CDCK/MoM é descontado dessa cota, que é resetada diariamente. Para a maioria das comunidades, a cota incluída cobre confortavelmente o uso diário dos recursos de IA integrados.
Mais sobre Créditos de IA em Unlock All Discourse AI Features with Our Hosted LLM e valores atuais por plano em Discourse pricing | Discourse - Civilized Discussion
Perguntas frequentes
Posso ainda trazer meu próprio LLM?
Sim. O CDCK/MoM é um padrão, não um requisito. Você pode configurar suas próprias chaves de API para outros provedores nas configurações de IA e usá-las junto ou em vez do CDCK/MoM.
Meus resultados variarão dependendo de qual modelo processa minha solicitação?
Os modelos no pool são selecionados para fornecer qualidade consistente para os recursos que servem. O roteamento é por tarefa, então um recurso dado se comportará de forma previsível.
Onde a inferência é executada e o que acontece com meus dados?
A inferência é executada nos mesmos servidores e datacenters onde executamos a aplicação Discourse. Ao usar o CDCK/MoM, seus dados nunca saem de nossa infraestrutura e não são compartilhados com nenhum provedor de IA de terceiros.
Dúvidas? Pergunte abaixo.