Si votre site Discourse est hébergé par nos soins, vous avez peut-être remarqué la présence d’un LLM appelé CDCK Hosted Model ou CDCK/MoM dans vos paramètres d’IA, qui alimente des fonctionnalités telles que le résumé, la recherche IA, et bien plus encore. Ce sujet explique ce que c’est et comment cela fonctionne.
En bref
CDCK/MoM (« Mixture of Models ») est le LLM intégré que nous fournissons à nos clients hébergés sans frais supplémentaires, alimenté par votre quota quotidien de crédits IA. Au lieu d’être un modèle unique, c’est une couche de routage intelligente exploitée par CDCK (l’entreprise derrière Discourse) qui envoie chaque requête à l’un de plusieurs modèles à poids ouverts soigneusement sélectionnés.
Pourquoi un mélange de modèles ?
Les différentes fonctionnalités IA ont des besoins différents. Résumer un long sujet, générer le contexte des embeddings de recherche et alimenter une persona d’assistant imposent chacun des contraintes différentes à un modèle — la longueur du contexte, la vitesse, la profondeur du raisonnement et le coût varient tous.
Plutôt que de lier chaque fonctionnalité à un seul modèle, CDCK/MoM achemine chaque requête vers le modèle le mieux adapté à la tâche. Cela nous permet de :
- Adapter le modèle à la tâche — les tâches rapides utilisent des modèles rapides ; les tâches plus lourdes utilisent des modèles plus performants.
- Rester à jour — au fur et à mesure que de meilleurs modèles deviennent disponibles, nous pouvons mettre à jour le pool en arrière-plan. Votre site en bénéficie immédiatement, sans modifications de configuration de votre part.
- Garder cela gratuit — un routage efficace signifie que nous pouvons inclure un quota quotidien généreux de crédits IA avec les plans d’hébergement.
Quels modèles sont derrière ?
Le pool se compose actuellement de :
Cette liste évoluera au fil du temps à mesure que le paysage des modèles ouverts s’améliorera — c’est tout le point de la couche de routage. Nous mettrons ce sujet à jour à mesure que le pool changera.
Comment fonctionnent les crédits IA ?
Chaque site hébergé avec les fonctionnalités IA activées reçoit un quota quotidien de crédits IA (mesuré en jetons). L’utilisation de CDCK/MoM est déduite de ce quota, qui se réinitialise quotidiennement. Pour la plupart des communautés, le quota inclus couvre confortablement l’utilisation quotidienne des fonctionnalités IA intégrées.
Plus d’informations sur les crédits IA sur Unlock All Discourse AI Features with Our Hosted LLM et les valeurs actuelles par plan sur Discourse pricing | Discourse - Civilized Discussion
Questions fréquemment posées
Puis-je toujours utiliser mon propre LLM ?
Oui. CDCK/MoM est une valeur par défaut, pas une obligation. Vous pouvez configurer vos propres clés API pour d’autres fournisseurs dans vos paramètres d’IA, et les utiliser en complément ou à la place de CDCK/MoM.
Mes résultats varieront-ils selon le modèle qui traite ma requête ?
Les modèles du pool sont sélectionnés pour offrir une qualité constante pour les fonctionnalités qu’ils servent. Le routage est effectué par tâche, donc une fonctionnalité donnée se comportera de manière prévisible.
Où s’exécute l’inférence et que devient mes données ?
L’inférence s’exécute sur les mêmes serveurs et centres de données où nous exécutons l’application Discourse elle-même. Lorsque vous utilisez CDCK/MoM, vos données ne quittent jamais notre infrastructure et ne sont partagées avec aucun fournisseur d’IA tiers.
Des questions ? N’hésitez pas à les poser ci-dessous.