Ich habe dies auch mit @falco besprochen, möchte aber darauf hinweisen, dass dies ein sehr scharfes Schwert ist.
Insbesondere geben wir den Benutzernamen bereits in der „User“-Nachricht an:
Dies ist in den AI-API-Protokollen sichtbar.
Die Gefahr beim Einfügen des Namens in den System-Prompt besteht darin, dass bei Mehrbenutzer-Interaktionen in einer Kette System-Prompt-Thrashing entstehen kann, was zum Ablauf des Caches führt. Das ist nicht ideal und kann zu schlechter Performance führen.
Nun … eine Sache, die ich in unseren vLLM-Vorlagen bemerkt habe, ist, dass wir den Namen verwerfen. Das erklärt, warum CDCK gehostete Modelle diese Funktion nicht unterstützen. Ich arbeite gerade an einem Patch, um das zu beheben.