Discourse AIが新しいSSLおよびConnection Reset by Peerエラーを引き起こす

バグ
9

アップデートのお知らせです。会社のIPアドレス範囲から直接OpenAI APIに接続できませんでした。TLSの約1ms後にCloudflareがRSTパケットを送信していました。

そこで、OpenAI APIエンドポイントのURLドロップインリプレースメントとしてCloudflare AI Gatewayを設定したところ、LLM構成で問題なく動作しました。

The image shows a service hosting the GPT-4 OpenAI model, including its name, model ID, provider, URL, and API key, for use by the Persona (Discourse Helper). (Captioned by AI)
The image shows a service hosting the GPT-4 OpenAI model, including its name, model ID, provider, URL, and API key, for use by the Persona (Discourse Helper). (Captioned by AI)589×529 8.55 KB

Cloudflareには、不明なIP範囲（Azure、AWS、GCPなど以外）に対する文書化されていないレート制限ポリシーがあるようです。Embeddingsの100接続プールがその制限に抵触していました。

ちなみに、Cloudflareには特別なヘッダーートークンを追加するAuthenticated Gateway機能があります。

ドキュメントによると：

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/openai/chat/completions \
  --header 'cf-aig-authorization: Bearer {CF_AIG_TOKEN}' \
  --header 'Authorization: Bearer OPENAI_TOKEN' \
  --header 'Content-Type: application/json' \
  --data '{"model": "gpt-4o" .......

LLM構成画面でLLMごとにヘッダーを追加する機能があれば素晴らしいです。

そうすれば、すべての呼び出しに対してLLMにcf-aig-authorizationキーと値を追加できます。