我也和 @falco 讨论过这个问题,但我想提醒一下,这是一个非常“锋利”的工具。
特别是我们已经在“User”消息中包含了用户名:
这在 AI API 日志中是可见的。
在系统提示词中插入名字的危险在于,如果在链式交互中存在多用户交互,可能会导致系统提示词频繁变更(thrashing),从而导致缓存失效,这并不理想,可能会导致性能下降。
现在……我注意到我们的 vLLM 模板中有一个问题,即我们丢弃了名字,这就解释了为什么 CDCK 托管的模型缺少此功能。我现在正在编写一个补丁来修复这个问题。
