Nous sommes ravis d’annoncer que nos clients hébergés peuvent désormais alimenter toutes les fonctionnalités d’IA de Discourse en utilisant notre propre grand modèle linguistique (LLM)[1] auto-hébergé à poids ouverts, préconfiguré et inclus gratuitement avec votre service d’hébergement.
Cela signifie que toutes les fonctionnalités d’IA sont disponibles pour les clients Starter, Pro, Business et Enterprise sans avoir besoin d’un fournisseur de LLM tiers.
Activation du LLM hébergé
Ceci devrait déjà être disponible et activé sur votre site sous la page de configuration du LLM :
Par défaut, « CDCK Hosted Small LLM » sera sélectionné comme votre LLM par défaut, et il devrait également être disponible pour la sélection par n’importe quel persona sur votre site.
Utilisation et limites
Discourse mesure l’utilisation du LLM hébergé via un système de crédits. Chaque jeton de requête ou de réponse consomme 1 crédit. Les crédits sont proportionnels à votre niveau d’hébergement et sont réinitialisés quotidiennement.
✱ Certaines fonctionnalités telles que la détection de spam par IA ne seront pas comptabilisées dans vos crédits
Les limites de crédits par niveau peuvent être trouvées sur la page des tarifs de notre site web. Une fois votre limite quotidienne atteinte, toutes les fonctionnalités d’IA qui dépendent du LLM seront mises en pause jusqu’à ce que les crédits soient réinitialisés le lendemain.
Si vous manquez rapidement de crédits, envisagez d’utiliser le système de quotas LLM pour définir des restrictions par utilisateur ou par groupe. La mise à niveau vers un niveau supérieur est une autre option si vous avez besoin de capacité supplémentaire.
Vous pouvez consulter l’utilisation de l’IA de votre site à tout moment depuis la page d’utilisation de l’IA dans le panneau d’administration.
Pour plus de détails sur ce qu’il faut faire lorsque les crédits sont épuisés, consultez :
Le petit modèle de langage (LLM) hébergé par CDCK est-il disponible via une API pour les instances auto-hébergées de Discourse ? Si oui, je présumerais qu’il y aurait des frais associés.
La fonctionnalité Résumé IA n’est-elle disponible que pour la publication principale d’un sujet ? Il serait utile de l’avoir pour une réponse longue et complexe au sein d’un fil de discussion.
Le niveau Starter dispose de 15K « Crédits IA » quotidiens. À quoi équivaut un crédit ? Est-ce un seul jeton dans une réponse ? Il serait utile que vous indiquiez au bas de chaque résumé IA le nombre de crédits utilisés.
1 « Crédit IA » équivaut à un jeton, dans la requête ou la réponse.
Par exemple, le résumé de ce sujet, avant ma réponse, a utilisé 1550 jetons.
Nous avons une page d’utilisation d’administration qui contient des rapports très détaillés sur l’utilisation des jetons, je vous recommande de l’utiliser.
Résumer l’intégralité du sujet est utile, mais ce n’est pas le cas dont j’ai discuté. Dans un sujet comportant 150 réponses, je lis une réponse spécifique qui est longue et compliquée. Je souhaite que cette seule réponse soit résumée par l’IA. Nous avons cela maintenant sur Twitter et c’est une fonctionnalité fantastique et utile.
Si un seul résumé par l’IA coûte 1500 crédits d’IA, et que nous n’obtenons que 15 000 crédits par jour, cela signifie que nous n’avons besoin que de 10 personnes pour demander un résumé par l’IA et que nous avons tout épuisé. Cela rend la fonctionnalité peu utile.
Vous pouvez sélectionner n’importe quel texte dans n’importe quel message et cliquer sur « Demander à l’IA », puis utiliser l’invite personnalisée pour demander un résumé.
C’est l’allocation de crédits gratuite sur notre forfait à moins de 1 $ par jour, oui.
Nous offrons plus de crédits sur les forfaits supérieurs, et nous permettons à tous les forfaits d’utiliser des LLM (grands modèles linguistiques) tiers s’ils ont besoin de maintenir une utilisation plus importante.
Donc, si je passe de 20 /mois à 100 /mois, j’obtiens maintenant 30 000 crédits d’IA par jour, et seulement 20 utilisateurs utilisant la fonctionnalité épuisent mes crédits ? Je pense que ce n’est pas un modèle économique viable pour une fonctionnalité qui est devenue une commodité sur mes sites de discussion.
Je comprends. Je vois pourquoi les limites de crédits peuvent sembler restrictives au début.
Voici quelques éléments qui pourraient aider à mettre cela en perspective :
Les crédits sont renouvelés quotidiennement, vous obtenez donc 15K (Starter) ou 30K (Pro) frais toutes les 24 heures. En pratique, il est assez peu probable que vous voyiez 20 utilisateurs différents demander des résumés le même jour, d’autant plus que nous avons mis en place une mise en cache. Une fois qu’un sujet est résumé, les utilisateurs suivants voient la version mise en cache sans consommer de crédits supplémentaires. Mais si vous constatez réellement ce niveau d’utilisation quotidienne des résumés, c’est en fait un excellent signe ! Cela signifie que votre forum est très actif et que les gens sont engagés.
Si l’utilisation est vraiment aussi élevée, vous pourriez être prêt pour un niveau supérieur. Le niveau Business (100k crédits) prendrait en charge confortablement une communauté très active. Une utilisation élevée des fonctionnalités d’IA signale généralement que vous êtes en train de dépasser votre forfait actuel d’autres manières également.
Avant d’envisager une mise à niveau de niveau, les quotas par utilisateur peuvent également aider. Le système de quota LLM vous permet de répartir l’utilisation de manière plus durable entre vos utilisateurs, afin que quelques utilisateurs intensifs n’épuisent pas tout au début de la journée.
Si cela ne suffit toujours pas, les LLM tiers pourraient mieux convenir à votre cas d’utilisation. Vous pouvez connecter votre propre fournisseur de LLM (OpenAI, Anthropic, Gemini, etc.). Vous paieriez pour cela séparément, mais cela vous donne plus de contrôle et pourrait être plus économique pour une utilisation à volume élevé.
Nous essayons d’offrir une solution prête à l’emploi qui fonctionne bien pour la plupart des clients sans les tracas des clés API ou de la facturation séparée. Mais vous n’êtes pas obligé de l’utiliser. Elle est censée être utile, et si elle vous semble trop limitative, passer à un fournisseur tiers est tout à fait valable et nous le soutenons entièrement.
Activation du LLM hébergé
Utilisation et limites