Discourse AI 引发新的 SSL 和 Connection Reset by Peer 错误

错误
9

好的，稍微更新一下——我们无法在公司 IP 地址范围内成功建立直接的 OpenAI API 连接。Cloudflare 会在 TLS 建立后大约 1 毫秒发送 RST 数据包。

因此，我们设置了一个 Cloudflare AI Gateway 作为 OpenAI API 端点的 URL 替换方案，它与 LLM 配置配合使用效果完美。

The image shows a service hosting the GPT-4 OpenAI model, including its name, model ID, provider, URL, and API key, for use by the Persona (Discourse Helper). (Captioned by AI)
The image shows a service hosting the GPT-4 OpenAI model, including its name, model ID, provider, URL, and API key, for use by the Persona (Discourse Helper). (Captioned by AI)589×529 8.55 KB

看起来 Cloudflare 对未知 IP 地址范围（例如非 Azure、AWS、GCP 等）有一个未公开的速率限制策略，该策略会被触发。Embeddings 的 100 个连接池会触发该限制。

另外，Cloudflare 有一个 Authenticated Gateway 功能，可以添加一个特殊的标头令牌。

来自他们的文档：

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/openai/chat/completions \
  --header 'cf-aig-authorization: Bearer {CF_AIG_TOKEN}' \
  --header 'Authorization: Bearer OPENAI_TOKEN' \
  --header 'Content-Type: application/json' \
  --data '{"model": "gpt-4o" .......

如果在 LLM 配置屏幕中为每个 LLM 添加标头，那就太棒了。

这样我们就可以为每次调用 LLM 添加 cf-aig-authorization 键和值了。