Ok, petite mise à jour : nous n’avons pas réussi à établir de connexion directe à l’API OpenAI sur la plage d’adresses IP de l’entreprise. Cloudflare envoyait des paquets RST environ 1 ms après la connexion TLS.
Nous avons donc configuré une Cloudflare AI Gateway comme remplacement transparent de l’URL du point de terminaison de l’API OpenAI, et cela fonctionne parfaitement avec la configuration LLM.
Il semble que Cloudflare ait une politique de limitation de débit non documentée pour les plages d’adresses IP inconnues (c’est-à-dire non Azure, AWS, GCP, etc.) qui s’active. Le pool de 100 connexions pour les Embeddings déclencherait cette limite.
Par ailleurs, Cloudflare propose une fonctionnalité Authenticated Gateway qui ajoute un jeton d’en-tête spécial.
D’après leur documentation :
curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/openai/chat/completions \
--header 'cf-aig-authorization: Bearer {CF_AIG_TOKEN}' \
--header 'Authorization: Bearer OPENAI_TOKEN' \
--header 'Content-Type: application/json' \
--data '{\"model\": \"gpt-4o\" .......
Ce serait génial s’il existait une fonctionnalité pour ajouter des en-têtes par LLM dans l’écran de configuration du LLM.
De cette façon, nous pourrions ajouter la clé et la valeur cf-aig-authorization au LLM pour chaque appel que nous effectuons.