Si tu sitio de Discourse está alojado por nosotros, es posible que hayas notado un LLM llamado CDCK Hosted Model o CDCK/MoM en tu configuración de IA, que impulsa funciones como el resumen de contenido, la búsqueda con IA y más. Este tema explica qué es y cómo funciona.
La versión corta
CDCK/MoM (“Mixture of Models” o Mezcla de Modelos) es el LLM integrado que ofrecemos a los clientes alojados sin costo adicional, impulsado por la cuota diaria de créditos de IA de tu sitio. En lugar de ser un solo modelo, es una capa de enrutamiento inteligente operada por CDCK (la empresa detrás de Discourse) que envía cada solicitud a uno de varios modelos de pesos abiertos cuidadosamente seleccionados.
¿Por qué una mezcla de modelos?
Diferentes funciones de IA tienen diferentes necesidades. Resumir un tema largo, generar contextos de incrustaciones para la búsqueda e impulsar una persona asistente imponen diferentes exigencias a un modelo: la longitud del contexto, la velocidad, la profundidad de razonamiento y el costo varían.
En lugar de vincular cada función a un solo modelo, CDCK/MoM enruta cada solicitud al modelo más adecuado para la tarea. Esto nos permite:
- Ajustar el modelo a la tarea — las tareas rápidas reciben modelos rápidos; las tareas más pesadas reciben modelos más capaces.
- Mantenernos al día — a medida que se disponen de mejores modelos, podemos actualizar el grupo de modelos en segundo plano. Tu sitio se beneficia de inmediato, sin cambios de configuración en tu extremo.
- Mantenerlo gratis — el enrutamiento eficiente nos permite incluir una generosa cuota diaria de créditos de IA con los planes de alojamiento.
¿Qué modelos están detrás de esto?
El grupo de modelos actual consiste en:
Esta alineación evolucionará con el tiempo a medida que mejore el panorama de los modelos abiertos; ese es el punto de la capa de enrutamiento. Mantendremos este tema actualizado a medida que cambie el grupo de modelos.
¿Cómo funcionan los créditos de IA?
Cada sitio alojado con funciones de IA habilitadas recibe una cuota diaria de créditos de IA (medidos en tokens). El uso de CDCK/MoM se descuenta de esta cuota, que se restablece a diario. Para la mayoría de las comunidades, la cuota incluida cubre cómodamente el uso diario de las funciones de IA integradas.
Más sobre los créditos de IA en Unlock All Discourse AI Features with Our Hosted LLM y los valores actuales por plan en Discourse pricing | Discourse - Civilized Discussion
Preguntas frecuentes
¿Aún puedo usar mi propio LLM?
Sí. CDCK/MoM es un valor predeterminado, no un requisito. Puedes configurar tus propias claves API para otros proveedores en tu configuración de IA y usarlas junto con CDCK/MoM o en su lugar.
¿Mis resultados variarán dependiendo de qué modelo procese mi solicitud?
Los modelos del grupo se seleccionan para ofrecer una calidad constante para las funciones que sirven. El enrutamiento es por tarea, por lo que una función dada se comportará de manera predecible.
¿Dónde se ejecuta la inferencia y qué sucede con mis datos?
La inferencia se ejecuta en los mismos servidores y centros de datos donde ejecutamos la aplicación Discourse. Al usar CDCK/MoM, tus datos nunca salen de nuestra infraestructura y no se comparten con ningún proveedor de IA de terceros.
¿Preguntas? Pregunta lo que quieras a continuación.