حسنًا، تحديث بسيط - لم نتمكن من تشغيل اتصال OpenAI API المباشر على نطاق IP الخاص بالشركة. سترسل Cloudflare حزم RST بعد حوالي 1 مللي ثانية بعد TLS.
لذلك، قمنا بإعداد Cloudflare AI Gateway كبديل مباشر لنقطة نهاية OpenAI API من خلال عنوان URL، وهي تعمل بشكل لا تشوبه شائبة مع تكوين LLM.
يبدو أن Cloudflare لديها سياسة حدود معدل غير موثقة لنطاقات IP غير المعروفة (أي، ليست Azure أو AWS أو GCP، إلخ) والتي يتم تفعيلها. تجمع الاتصالات البالغ عددها 100 لـ Embeddings سيؤدي إلى تجاوز هذا الحد.
بشكل منفصل، تمتلك Cloudflare ميزة Authenticated Gateway التي تضيف رمز رأس خاص.
من وثائقهم:
curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/openai/chat/completions \
--header 'cf-aig-authorization: Bearer {CF_AIG_TOKEN}' \
--header 'Authorization: Bearer OPENAI_TOKEN' \
--header 'Content-Type: application/json' \
--data '{"model": "gpt-4o" .......
سيكون من الرائع لو كانت هناك ميزة لإضافة رؤوس لكل LLM في شاشة تكوين LLM.
بهذه الطريقة، يمكننا إضافة مفتاح وقيمة cf-aig-authorization إلى LLM لكل استدعاء نقوم به.