Ok, uma pequena atualização - não conseguimos fazer a conexão direta da API OpenAI funcionar no intervalo de IP corporativo. O Cloudflare enviava pacotes RST cerca de 1ms após o TLS.
Então, configuramos um Cloudflare AI Gateway como uma substituição de URL para o endpoint da API OpenAI e ele funciona perfeitamente com a configuração do LLM.
Parece que o Cloudflare tem uma política de limite de taxa não documentada para intervalos de IP desconhecidos (ou seja, não Azure, AWS, GCP, etc.) que entra em vigor. O pool de 100 conexões para Embeddings atingiria esse limite.
Como observação, o Cloudflare tem um recurso Authenticated Gateway que adiciona um token de cabeçalho especial.
Da documentação deles:
curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/openai/chat/completions \
--header 'cf-aig-authorization: Bearer {CF_AIG_TOKEN}' \
--header 'Authorization: Bearer OPENAI_TOKEN' \
--header 'Content-Type: application/json' \
--data '{"model": "gpt-4o" .......
Seria ótimo se houvesse um recurso para adicionar cabeçalhos por LLM na tela de configuração do LLM.
Dessa forma, poderíamos adicionar a chave e o valor cf-aig-authorization ao LLM para cada chamada que fizermos.