Nous sommes ravis d’annoncer que nos clients hébergés peuvent désormais alimenter toutes les fonctionnalités d’IA de Discourse en utilisant notre propre grand modèle linguistique (LLM) hébergé à poids ouverts[1], préconfiguré et inclus gratuitement avec votre service d’hébergement.
Cela signifie que chaque fonctionnalité d’IA est disponible pour les clients Starter, Pro, Business et Enterprise sans avoir besoin d’un fournisseur de LLM tiers.
Activation du LLM hébergé
Ceci devrait être déjà disponible et activé sur votre site sous la page de configuration du LLM :
Par défaut, « CDCK Hosted Small LLM » sera sélectionné comme votre LLM par défaut, et il devrait également être disponible pour la sélection par n’importe quel persona sur votre site.
Utilisation et limites
Discourse mesure l’utilisation du LLM hébergé via un système de crédits. Chaque jeton de requête ou de réponse consomme 1 crédit. Les crédits sont proportionnels à votre niveau d’hébergement et sont réinitialisés quotidiennement.
✱ Certaines fonctionnalités telles que la détection de spam par IA ne seront pas comptabilisées dans vos crédits
Les limites de crédits par niveau peuvent être trouvées sur la page des tarifs de notre site web. Une fois que vous avez atteint votre limite quotidienne, toutes les fonctionnalités d’IA qui dépendent du LLM seront mises en pause jusqu’à ce que les crédits soient réinitialisés le lendemain.
Si vous manquez rapidement de crédits, envisagez d’utiliser le système de quotas LLM pour définir des restrictions par utilisateur ou par groupe. La mise à niveau vers un niveau supérieur est une autre option si vous avez besoin de capacité supplémentaire.
Vous pouvez consulter l’utilisation de l’IA de votre site à tout moment depuis la page d’utilisation de l’IA dans le panneau d’administration.
Pour plus de détails sur ce qu’il faut faire lorsque les crédits sont épuisés, consultez :
¿El LLM pequeño alojado por CDCK está disponible a través de una API para que las instancias de Discourse autoalojadas lo utilicen? Si es así, supongo que habría una tarifa asociada.
¿Así que la función de resumen de IA solo está disponible para la publicación principal de un tema? Sería valioso tener esto para una respuesta larga y compleja dentro de un hilo.
El nivel Starter tiene 15K “Créditos de IA” diarios. ¿A qué equivale un crédito? ¿Es un solo token en una respuesta? Sería útil si mostraran al final de cada resumen de IA cuántos créditos utilizó.
Resumir el tema completo es útil, pero ese no es el caso que discutí. En un tema con 150 respuestas, estoy leyendo una respuesta específica que es larga y complicada. Quiero que esa única respuesta sea resumida por la IA. Tenemos esto ahora en Twitter y es una característica fantástica y útil.
Si un solo resumen de IA requiere 1500 créditos de IA, y solo obtenemos 15K créditos/día, eso significa que solo necesitamos que 10 personas soliciten un resumen de IA y habremos agotado todo. Eso hace que la función no sea muy útil.
Puede seleccionar cualquier texto en cualquier publicación y hacer clic en “Ask AI” (Preguntar a la IA) y luego usar la instrucción personalizada para solicitar un resumen.
Esa es la asignación de créditos gratuitos en nuestro plan de menos de $1 por día, sí.
Ofrecemos más créditos en planes superiores, y permitimos que todos los planes utilicen modelos de lenguaje grandes (LLM) de terceros si necesitan mantener un mayor uso.
Entonces, si salto de $20/mes a $100/mes, ¿ahora obtengo 30K créditos de IA por día, y solo 20 usuarios que usan la función agotan mis créditos? Creo que este no es un modelo económico viable para una característica que se ha convertido en una mercancía en mis sitios de discusión.
Te entiendo. Puedo ver por qué los límites de crédito pueden parecer restrictivos al principio.
Algunas cosas que podrían ayudar a poner esto en perspectiva:
Los créditos se reponen a diario, por lo que obtienes 15K (Starter) o 30K (Pro) nuevos cada 24 horas. En la práctica, es bastante improbable que veas a 20 usuarios diferentes solicitando resúmenes el mismo día, especialmente porque tenemos almacenamiento en caché implementado. Una vez que un tema se resume, los usuarios posteriores ven la versión almacenada en caché sin consumir créditos adicionales. Pero si realmente estás viendo ese nivel de uso diario de resúmenes, ¡eso es en realidad una gran señal! Significa que tu foro está muy activo y la gente está comprometida.
Si el uso es realmente tan alto, es posible que estés listo para un nivel superior. El nivel Business (100k créditos) soportaría cómodamente una comunidad muy activa. El alto uso de funciones de IA generalmente indica que también estás superando tu plan actual en otros aspectos.
Antes de considerar una mejora de nivel, las cuotas por usuario también pueden ayudar. El sistema de cuotas LLM te permite distribuir el uso de manera más sostenible entre tus usuarios, para que algunos usuarios avanzados no agoten todo al principio del día.
Si eso todavía no es útil, los LLM de terceros podrían ser más adecuados para tu caso de uso. Puedes conectar tu propio proveedor de LLM (OpenAI, Anthropic, Gemini, etc.). Pagarías por ello por separado, pero te da más control y podría ser más económico para un uso de alto volumen.
Estamos tratando de ofrecer una opción lista para usar que funcione bien para la mayoría de los clientes sin la molestia de las claves API o la facturación separada. Pero no estás restringido a usarlo. Está destinado a ser útil, y si te parece demasiado limitante, cambiar a un proveedor de terceros es totalmente válido y lo apoyamos plenamente.
Activation du LLM hébergé
Utilisation et limites