J’en ai aussi discuté avec @falco, mais je tiens à mettre en garde : c’est un outil très tranchant.
En particulier, nous incluons déjà le nom d’utilisateur dans le message « Utilisateur » :
Cela est visible dans les journaux de l’API IA.
Le danger de l’insertion du nom dans l’invite système est que, dans les cas où il y a une interaction multi-utilisateur dans une chaîne, vous pouvez provoquer un « thrashing » de l’invite système, ce qui entraîne l’expiration du cache, ce qui n’est pas idéal et peut entraîner de mauvaises performances.
Maintenant… une chose que j’ai remarquée dans nos modèles vllm est que nous jetons le nom, ce qui explique pourquoi les modèles hébergés par CDCK ne disposent pas de cette fonctionnalité. Je travaille actuellement sur un correctif pour résoudre ce problème.