Si tu sitio de Discourse está alojado por nosotros, es posible que hayas visto un LLM llamado CDCK Hosted Model o CDCK/MoM en tu configuración de IA, el cual impulsa funciones como el resumen, la búsqueda con IA y muchas más. Este tema explica qué es y cómo funciona.
La versión corta
CDCK/MoM («Mixture of Models») es el LLM integrado que ofrecemos a los clientes alojados sin coste adicional, respaldado por la asignación diaria de créditos de IA de tu sitio. En lugar de ser un único modelo, se trata de una capa de enrutamiento inteligente operada por CDCK (la empresa detrás de Discourse) que envía cada solicitud a uno de varios modelos de pesos abiertos seleccionados.
¿Por qué una mezcla de modelos?
Diferentes funciones de IA tienen necesidades distintas. Resumir un tema largo, generar contexto para embeddings de búsqueda o impulsar un asistente con personalidad plantean demandas muy diferentes a un modelo: la longitud del contexto, la velocidad, la profundidad del razonamiento y el costo varían según la tarea.
En lugar de vincular cada función a un único modelo, CDCK/MoM enruta cada solicitud al modelo más adecuado para el trabajo. Esto nos permite:
- Asignar el modelo a la tarea — las tareas rápidas usan modelos ágiles; las tareas más pesadas usan modelos más potentes.
- Estar al día — a medida que aparecen mejores modelos, podemos actualizar el conjunto en segundo plano. Tu sitio se beneficia de inmediato, sin necesidad de cambiar ninguna configuración.
- Mantenerlo gratis — el enrutamiento eficiente nos permite incluir una generosa asignación diaria de créditos de IA en los planes de alojamiento.
¿Qué modelos hay detrás?
El conjunto está formado actualmente por:
Esta selección evolucionará con el tiempo a medida que el panorama de modelos abiertos mejore — ese es el propósito de la capa de enrutamiento. Mantendremos este tema actualizado conforme el conjunto cambie.
¿Cómo funcionan los créditos de IA?
Cada sitio alojado con funciones de IA activadas recibe una asignación diaria de créditos de IA (medida en tokens). El uso de CDCK/MoM consume esta asignación, que se restablece cada día. Para la mayoría de las comunidades, la asignación incluida cubre con holgura el uso diario de las funciones de IA integradas.
Más información sobre los créditos de IA en Unlock All Discourse AI Features with Our Hosted LLM y los valores actuales por plan en Discourse pricing | Discourse - Civilized Discussion
Preguntas frecuentes
¿Sigo pudiendo usar mi propio LLM?
Sí. CDCK/MoM es una opción predeterminada, no un requisito. Puedes configurar tus propias claves de API para otros proveedores en tu configuración de IA y utilizarlos junto a CDCK/MoM o en su lugar.
¿Varían mis resultados según el modelo que atienda mi solicitud?
Los modelos del conjunto se seleccionan para ofrecer una calidad consistente en las funciones que atienden. El enrutamiento se realiza por tarea, por lo que cada función se comportará de forma predecible.
¿Dónde se ejecuta la inferencia y qué pasa con mis datos?
La inferencia se ejecuta en los mismos servidores y centros de datos donde alojamos la propia aplicación Discourse. Al usar CDCK/MoM, tus datos nunca abandonan nuestra infraestructura y no se comparten con ningún proveedor externo de IA.
¿Tienes preguntas? Pregunta sin problema abajo.