Também discuti isso com @falco, mas gostaria de alertar que esta é uma ferramenta muito delicada.
Em particular, já incluímos o nome do usuário na mensagem “User”:
Isso é visível nos logs da API de IA.
O risco de inserir o nome no prompt do sistema é que, em casos de interação multiusuário em uma cadeia, você pode causar instabilidade no prompt do sistema, o que leva à expiração do cache, o que não é ideal e pode resultar em mau desempenho.
Agora… uma coisa que notei em nossos modelos vllm é que estamos descartando o nome, o que explica por que os modelos hospedados pelo CDCK estão faltando esse recurso. Estou trabalhando em um patch agora para corrigir isso.
