Okay, un piccolo aggiornamento: non siamo riusciti a far funzionare la connessione diretta all’API OpenAI sull’intervallo IP aziendale. Cloudflare inviava pacchetti RST circa 1 ms dopo TLS.
Quindi abbiamo configurato un Cloudflare AI Gateway come sostituzione drop-in dell’endpoint API OpenAI tramite URL e funziona perfettamente con la configurazione LLM.
Sembra che Cloudflare abbia una policy di rate limiting non documentata per intervalli IP sconosciuti (cioè non Azure, AWS, GCP, ecc.) che si attiva. Il pool di 100 connessioni per Embeddings farebbe scattare quel limite.
A parte questo, Cloudflare ha una funzionalità Authenticated Gateway che aggiunge un token di intestazione speciale.
Dalla loro documentazione:
curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/openai/chat/completions \
--header 'cf-aig-authorization: Bearer {CF_AIG_TOKEN}' \
--header 'Authorization: Bearer OPENAI_TOKEN' \
--header 'Content-Type: application/json' \
--data '{\"model\": \"gpt-4o\" .......
Sarebbe fantastico se ci fosse una funzionalità per aggiungere intestazioni per LLM nella schermata di configurazione LLM.
In questo modo potremmo aggiungere la chiave e il valore cf-aig-authorization all’LLM per ogni chiamata che facciamo.