AIのシステムプロンプトに{username}をテンプレートパラメータとして追加

@falcoともこの件について議論しましたが、これは非常に繊細な調整であることを警告しておきます。

特に、すでに「User」メッセージにユーザー名を含めています:

これはAI APIのログから確認できます。

システムプロンプトに名前を挿入する際のリスクは、チェーン内の複数ユーザー間の相互作用がある場合、システムプロンプトの頻繁な変更(thrashing)を引き起こし、キャッシュの有効期限切れを招く可能性があることです。これは望ましくなく、パフォーマンスの低下を招く可能性があります。

さて… 私たちのvLLMテンプレートで気づいたことが一つあります。それは名前を破棄していることです。これがCDCKホストモデルでこの機能が欠落している理由を説明しています。現在、これを修正するパッチを作成中です。

「いいね!」 3