También he discutido esto con @falco, pero me gustaría advertir que se trata de una herramienta muy delicada.
En particular, ya incluimos el nombre de usuario en el mensaje «Usuario»:
Esto es visible en los registros de la API de IA.
El riesgo de insertar el nombre en el prompt del sistema es que, en casos donde haya una interacción multiusuario en una cadena, puedes provocar una inestabilidad en el prompt del sistema (system prompt thrashing), lo que causa la expiración de la caché. Esto no es ideal y puede derivar en un rendimiento deficiente.
Ahora bien… una cosa que he observado en nuestras plantillas de vllm es que estamos descartando el nombre, lo cual explica por qué los modelos alojados por CDCK carecen de esta función. Estoy trabajando en un parche ahora mismo para solucionarlo.
