@falcoともこの件について議論しましたが、これは非常に繊細な調整であることを警告しておきます。
特に、すでに「User」メッセージにユーザー名を含めています:
これはAI APIのログから確認できます。
システムプロンプトに名前を挿入する際のリスクは、チェーン内の複数ユーザー間の相互作用がある場合、システムプロンプトの頻繁な変更(thrashing)を引き起こし、キャッシュの有効期限切れを招く可能性があることです。これは望ましくなく、パフォーマンスの低下を招く可能性があります。
さて… 私たちのvLLMテンプレートで気づいたことが一つあります。それは名前を破棄していることです。これがCDCKホストモデルでこの機能が欠落している理由を説明しています。現在、これを修正するパッチを作成中です。
