Si tu sitio de Discourse está alojado con nosotros, es posible que hayas notado un LLM llamado CDCK Hosted Model o CDCK/MoM en la configuración de IA, que potencia funciones como el resumen, la búsqueda con IA y más. Este tema explica qué es y cómo funciona.
La versión corta
CDCK/MoM (“Mixture of Models” o mezcla de modelos) es el LLM integrado que ofrecemos a los clientes alojados sin costo adicional, impulsado por la cuota diaria de créditos de IA de tu sitio. En lugar de ser un solo modelo, es una capa de enrutamiento inteligente operada por CDCK (la empresa detrás de Discourse) que envía cada solicitud a uno de varios modelos de pesos abiertos cuidadosamente seleccionados.
¿Por qué una mezcla de modelos?
Diferentes funciones de IA tienen diferentes necesidades. Resumir un tema largo, generar contexto para incrustaciones de búsqueda y potenciar una persona auxiliar imponen diferentes demandas a un modelo: la longitud del contexto, la velocidad, la profundidad de razonamiento y el costo varían.
En lugar de vincular cada función a un solo modelo, CDCK/MoM enruta cada solicitud al modelo más adecuado para la tarea. Esto nos permite:
- Adaptar el modelo a la tarea: las tareas rápidas utilizan modelos rápidos; las tareas más intensivas utilizan modelos más capaces.
- Mantenerse actualizado: a medida que estén disponibles mejores modelos, podemos actualizar el grupo en segundo plano. Tu sitio se beneficia inmediatamente, sin cambios de configuración por tu parte.
- Mantenerlo gratuito: el enrutamiento eficiente significa que podemos incluir una generosa cuota diaria de créditos de IA en los planes de alojamiento.
¿Qué modelos hay detrás?
El grupo actual consiste en:
Esta alineación evolucionará con el tiempo a medida que mejore el panorama de los modelos abiertos: ese es el punto de la capa de enrutamiento. Mantendremos este tema actualizado a medida que cambie el grupo.
¿Cómo funcionan los créditos de IA?
Cada sitio alojado con funciones de IA habilitadas recibe una cuota diaria de créditos de IA (medida en tokens). El uso de CDCK/MoM se deduce de esta cuota, y se restablece diariamente. Para la mayoría de las comunidades, la cuota incluida cubre cómodamente el uso diario de las funciones de IA integradas.
Más información sobre los créditos de IA en Unlock All Discourse AI Features with Our Hosted LLM y los valores actuales por plan en Discourse pricing | Discourse - Civilized Discussion
Preguntas frecuentes
¿Puedo seguir utilizando mi propio LLM?
Sí. CDCK/MoM es un valor predeterminado, no un requisito. Puedes configurar tus propias claves de API para otros proveedores en la configuración de IA y usarlas junto con o en lugar de CDCK/MoM.
¿Mis resultados variarán dependiendo de qué modelo maneje mi solicitud?
Los modelos del grupo se seleccionan para ofrecer una calidad consistente para las funciones que atienden. El enrutamiento es por tarea, por lo que una función dada se comportará de manera predecible.
¿Dónde se ejecuta la inferencia y qué pasa con mis datos?
La inferencia se ejecuta en los mismos servidores y centros de datos donde ejecutamos la aplicación Discourse. Al usar CDCK/MoM, tus datos nunca salen de nuestra infraestructura y no se comparten con ningún proveedor de IA de terceros.
¿Preguntas? Hazlas a continuación.