Ne ho discusso anche con @falco, ma vorrei avvertire che si tratta di uno strumento molto tagliente.
In particolare, includiamo già il nome utente nel messaggio “User”:
Questo è visibile nei log dell’API AI.
Il rischio legato all’inserimento del nome nel prompt di sistema è che, nei casi di interazione multi-utente in una catena, si possa causare un “thrashing” del prompt di sistema, che provoca l’invalidazione della cache. Questo non è ideale e può portare a prestazioni scadenti.
Ora… una cosa che ho notato nei nostri template vllm è che stiamo scartando il nome, il che spiega perché i modelli ospitati da CDCK non dispongono di questa funzionalità. Sto lavorando a una patch per risolvere il problema.