Estamos entusiasmados em anunciar que nossos clientes hospedados agora podem alimentar todos os recursos de IA do Discourse usando nosso próprio LLM[1] de pesos abertos e hospedado, pré-configurado e incluído gratuitamente com seu serviço de hospedagem.
Isso significa que todos os recursos de IA estão disponíveis para clientes Starter, Pro, Business e Enterprise sem a necessidade de qualquer provedor de LLM de terceiros.
Habilitando o LLM hospedado
Isso já deve estar disponível e ativado em seu site na página de configuração do LLM:
Por padrão, “CDCK Hosted Small LLM” será selecionado como seu LLM padrão, e também deve estar disponível para seleção por qualquer persona em seu site.
Uso e limites
O Discourse mede o uso do LLM hospedado por meio de um sistema de créditos. Cada token de solicitação ou resposta consome 1 crédito. Os créditos são proporcionais ao seu nível de hospedagem e são redefinidos diariamente.
Os limites de crédito por nível podem ser encontrados na página de preços em nosso site. Depois de atingir seu limite diário, quaisquer recursos de IA que dependam do LLM serão pausados até que os créditos sejam redefinidos no dia seguinte.
Se você estiver ficando sem créditos rapidamente, considere usar o sistema de cota de LLM para definir restrições por usuário ou por grupo. A atualização para um nível mais alto é outra opção se você precisar de capacidade adicional.
Você pode revisar o uso de IA do seu site a qualquer momento na página de uso de IA no painel de administração.
Para mais detalhes sobre o que fazer quando os créditos se esgotam, consulte:
O LLM Pequeno Hospedado do CDCK está disponível via API para instâncias do Discourse auto-hospedadas usarem? Se sim, presumo que haveria uma taxa associada.
Então, o recurso Resumir IA está disponível apenas contra a postagem principal de um tópico? Seria valioso tê-lo para uma resposta longa e complexa dentro de um tópico.
O nível Starter tem 15 mil “Créditos de IA” diários. O que um crédito equivale? É um único token em uma resposta? Seria útil se você mostrasse na parte inferior de cada resumo de IA quantos créditos ele usou.
Resumir o tópico inteiro é útil, mas não é o caso que discuti. Em um tópico com 150 respostas, estou lendo uma resposta específica que é longa e complicada. Eu quero que essa única resposta seja resumida por IA. Temos isso agora no Twitter e é um recurso fantástico e útil.
Se um único Resumo de IA levar 1500 créditos de IA, e só recebemos 15 mil créditos/dia, isso significa que precisamos de apenas 10 pessoas para solicitar um resumo de IA e teremos usado tudo. Isso torna o recurso pouco útil.
Você pode selecionar qualquer texto em qualquer postagem e clicar em “Perguntar à IA” e, em seguida, usar o prompt personalizado para solicitar um resumo.
Essa é a alocação de crédito gratuita em nosso plano de menos de US$ 1 por dia, sim.
Oferecemos mais créditos em planos mais altos e permitimos que todos os planos usem LLMs (Modelos de Linguagem Grandes) de terceiros, se precisarem sustentar mais uso.
Então, se eu pular de $20/mês para $100/mês, agora recebo 30 mil créditos de IA por dia, e apenas 20 usuários usando o recurso esgotam meus créditos? Acho que este não é um modelo econômico viável para um recurso que se tornou uma mercadoria nos meus sites de discussão.
Eu entendo. Posso ver por que os limites de crédito podem parecer restritivos no início.
Algumas coisas que podem ajudar a colocar isso em perspectiva:
Os créditos são reabastecidos diariamente, então você recebe 15 mil (Starter) ou 30 mil (Pro) novos a cada 24 horas. Na prática, é bem improvável que você veja 20 usuários diferentes solicitando resumos no mesmo dia, especialmente porque temos cache implementado. Assim que um tópico é resumido, os usuários subsequentes veem a versão em cache sem consumir créditos adicionais. Mas se você realmente está vendo esse nível de uso diário de resumo, isso é um ótimo sinal! Significa que seu fórum está realmente ativo e as pessoas estão engajadas.
Se o uso for realmente tão alto, você pode estar pronto para um nível superior. O nível Business (100 mil créditos) suportaria confortavelmente uma comunidade muito ativa. O alto uso de recursos de IA geralmente sinaliza que você está superando seu plano atual de outras maneiras também.
Antes de considerar um upgrade de nível, as cotas por usuário também podem ajudar. O sistema de cota LLM permite que você distribua o uso de forma mais sustentável entre seus usuários, para que alguns usuários avançados não esgotem tudo no início do dia.
Se isso ainda não for útil, LLMs de terceiros podem ser mais adequados para o seu caso de uso. Você pode conectar seu próprio provedor de LLM (OpenAI, Anthropic, Gemini, etc.). Você pagará por isso separadamente, mas isso lhe dará mais controle e pode ser mais econômico para uso de alto volume.
Estamos tentando oferecer uma opção pronta para uso que funcione bem para a maioria dos clientes, sem o incômodo de chaves de API ou cobrança separada. Mas você não está restrito a usá-lo. Ele deve ser útil, e se parecer muito limitante, mudar para um provedor de terceiros é totalmente válido e nós apoiamos isso plenamente.
Habilitando o LLM hospedado
Uso e limites