Я также обсудил это с @falco, но хочу предупредить, что это очень тонкий инструмент.
В частности, мы уже включаем имя пользователя в сообщение «User»:
Это видно в логах AI API.
Опасность вставки имени в системный промпт заключается в том, что в случаях многопользовательского взаимодействия в цепочке это может привести к частой смене системного промпта, что вызывает инвалидацию кеша, что нежелательно и может привести к ухудшению производительности.
Теперь… одно наблюдение, которое я сделал в наших шаблонах vllm: мы отбрасываем имя, что объясняет, почему хостинговые модели CDCK не имеют этой функции. Я сейчас работаю над патчем, чтобы исправить это.