Discourse AI: セマンティック検索などでAnthropic Sonnet 5を動作させるには、JSONレスポンスを削除する必要がある

サポート
1

ここで完全に間違ったことを言っているかもしれませんし、私以外の全員が常識として知っていることかもしれません…もしそうなら、申し訳ありません。しかし、私のインストールでいくつかの奇妙なエラーが発生しました。例えば：

DiscourseAi::Completions::Endpoints::Anthropic: status: 400 - body: 

{
“type”:“error”,
“error”:{“type”:“invalid_request_error”,
“message”:“This model does not support assistant message prefill. The conversation must end with a user message.”},“request_id”:“req_011CcqMN6eswEfRHPmQmPLC4”
}

他のAI関連の機能はほとんど正常に動作していたので、これは奇妙でした。主に要約機能と、次のような検索で発生しました：

https://..../forum/discourse-ai/embeddings/semantic-search?q=search_term

これにより500エラーが発生しました。

ログを確認すると、次のような内容が記録されていました：

{
  "type": "error",
  "error": {
    "type": "invalid_request_error",
    "message": "This model does not support assistant message prefill. The conversation must end with a user message."
  },
  "request_id": "req_011CcqQvXPAHSfvoUeu92gf9"
}

この問題は「コンテンツ作成」のペルソナに遡りました。

image
image764×1632 59.4 KB

エラーの原因は、次の部分のようです：

image
image764×1632 59.4 KB

この設定を削除すると（ただし、この特定のペルソナでは直接削除できず、クローンを作成してそのクローンでこの設定を無効化しました）

image
image2034×194 16.7 KB

セマンティック検索が正常に動作するようになりました。要約機能などでも同様の対応が必要でした。

皆さんも同様の経験はありますか？

2

Sonnet 5 のインスタンスでの設定方法を教えていただけますか？

もしかして、Disable native structured output (use assistant message prefilling instead, required for Claude 3.x and older) が有効になっていますか？