Si votre site Discourse est hébergé par nos soins, vous avez peut-être remarqué un LLM nommé CDCK Hosted Model ou CDCK/MoM dans vos paramètres IA, qui alimente des fonctionnalités telles que la résumation, la recherche IA, et bien plus encore. Ce sujet explique ce que c’est et comment cela fonctionne.
En bref
CDCK/MoM (« Mixture of Models ») est le LLM intégré que nous fournissons gratuitement à nos clients hébergés, alimenté par l’attribution quotidienne de crédits IA de votre site. Plutôt que d’être un modèle unique, c’est une couche de routage intelligente exploitée par CDCK (l’entreprise derrière Discourse) qui envoie chaque requête à l’un de plusieurs modèles open-weight soigneusement sélectionnés.
Pourquoi un mélange de modèles ?
Les différentes fonctionnalités IA ont des besoins différents. Résumer un long sujet, générer des embeddings de contexte pour la recherche et alimenter une persona d’assistance imposent chacun des exigences différentes au modèle — longueur de contexte, vitesse, profondeur de raisonnement et coût varient tous.
Plutôt que de lier chaque fonctionnalité à un seul modèle, CDCK/MoM achemine chaque requête vers le modèle le mieux adapté à la tâche. Cela nous permet de :
- Adapter le modèle à la tâche — les tâches rapides reçoivent des modèles rapides ; les tâches plus lourdes reçoivent des modèles plus performants.
- Rester à jour — à mesure que de meilleurs modèles deviennent disponibles, nous pouvons mettre à jour le pool en arrière-plan. Votre site en bénéficie immédiatement, sans modification de configuration de votre part.
- Garder ça gratuit — un routage efficace signifie que nous pouvons inclure une attribution quotidienne généreuse de crédits IA avec les plans d’hébergement.
Quels modèles se cachent derrière ?
Le pool actuel se compose de :
Cette sélection évoluera au fil du temps à mesure que le paysage des modèles ouverts s’améliorera — c’est tout l’intérêt de la couche de routage. Nous mettrons à jour ce sujet à mesure que le pool changera.
Comment fonctionnent les crédits IA ?
Chaque site hébergé avec les fonctionnalités IA activées reçoit une attribution quotidienne de crédits IA (mesurée en jetons). L’utilisation de CDCK/MoM est prélevée sur cette attribution, qui est réinitialisée chaque jour. Pour la plupart des communautés, l’attribution incluse couvre confortablement l’utilisation quotidienne des fonctionnalités IA intégrées.
Plus d’informations sur les crédits IA sur Unlock All Discourse AI Features with Our Hosted LLM et les valeurs actuelles par plan sur Discourse pricing | Discourse - Civilized Discussion
Questions fréquentes
Puis-je toujours apporter mon propre LLM ?
Oui. CDCK/MoM est un défaut, pas une obligation. Vous pouvez configurer vos propres clés API pour d’autres fournisseurs dans vos paramètres IA, et les utiliser en parallèle ou à la place de CDCK/MoM.
Mes résultats varieront-ils selon le modèle qui traite ma requête ?
Les modèles du pool sont sélectionnés pour offrir une qualité constante pour les fonctionnalités qu’ils servent. Le routage est par tâche, donc une fonctionnalité donnée se comportera de manière prévisible.
Où s’exécute l’inférence et que devient mes données ?
L’inférence s’exécute sur les mêmes serveurs et centres de données où nous exécutons l’application Discourse elle-même. Lors de l’utilisation de CDCK/MoM, vos données ne quittent jamais notre infrastructure et ne sont partagées avec aucun fournisseur d’IA tiers.
Des questions ? Posez-les ci-dessous.