Okay, ein kleines Update – wir konnten keine direkte OpenAI API-Verbindung über den IP-Bereich des Unternehmens herstellen. Cloudflare sendete etwa 1 ms nach TLS RST-Pakete.
Daher haben wir ein Cloudflare AI Gateway als URL-Drop-in-Ersatz für den OpenAI API-Endpunkt eingerichtet, und es funktioniert einwandfrei mit der LLM-Konfiguration.
Es scheint, dass Cloudflare eine undokumentierte Ratenbegrenzung für unbekannte IP-Bereiche (d. h. nicht Azure, AWS, GCP usw.) hat, die greift. Der 100-Verbindungspool für Embeddings würde dieses Limit auslösen.
Nebenbei bemerkt, bietet Cloudflare eine Authentifizierte Gateway-Funktion, die ein spezielles Header-Token hinzufügt.
Aus deren Dokumentation:
curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/openai/chat/completions \
--header 'cf-aig-authorization: Bearer {CF_AIG_TOKEN}' \
--header 'Authorization: Bearer OPENAI_TOKEN' \
--header 'Content-Type: application/json' \
--data '{"model": "gpt-4o" .......
Es wäre großartig, wenn es eine Funktion gäbe, um pro LLM Header im LLM-Konfigurationsbildschirm hinzuzufügen.
Auf diese Weise könnten wir den cf-aig-authorization-Schlüssel und -Wert für jeden von uns getätigten Aufruf zur LLM hinzufügen.