Okay, una pequeña actualización: no pudimos establecer una conexión directa a la API de OpenAI en el rango de IP corporativo. Cloudflare enviaba paquetes RST aproximadamente 1 ms después de TLS.
Así que configuramos una Cloudflare AI Gateway como un reemplazo directo de URL para el punto final de la API de OpenAI y funciona perfectamente con la configuración de LLM.
Parece que Cloudflare tiene una política de límite de velocidad no documentada para rangos de IP desconocidos (es decir, no Azure, AWS, GCP, etc.) que se activa. El grupo de 100 conexiones para Embeddings activaría ese límite.
Aparte, Cloudflare tiene una función de Authenticated Gateway que agrega un token de encabezado especial.
De su documentación:
curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/openai/chat/completions \
--header 'cf-aig-authorization: Bearer {CF_AIG_TOKEN}' \
--header 'Authorization: Bearer OPENAI_TOKEN' \
--header 'Content-Type: application/json' \
--data '{"model": "gpt-4o" .......
Sería genial si hubiera una función para agregar encabezados por LLM en la pantalla de configuración de LLM.
De esa manera, podríamos agregar la clave y el valor cf-aig-authorization al LLM para cada llamada que hagamos.