자, 업데이트를 조금 하겠습니다. 기업 IP 범위에서 OpenAI API와 직접 연결을 설정하는 데 실패했습니다. Cloudflare가 TLS 직후 약 1ms 뒤에 RST 패킷을 전송했기 때문입니다.
그래서 OpenAI API 엔드포인트의 URL 드롭인 대체재로 Cloudflare AI Gateway를 설정했는데, LLM 구성과 완벽하게 작동합니다.
Cloudflare에는 문서화되지 않은 레이트 리밋 정책이 있는 것 같습니다. 이는 알려지지 않은 IP 범위(예: Azure, AWS, GCP 등)에서 발동됩니다. Embeddings의 100개 연결 풀이 이 한도를 초과하게 되었습니다.
참고로, Cloudflare에는 Authenticated Gateway라는 기능이 있어 특수 헤더 토큰을 추가합니다.
해당 문서에서 발췌한 내용입니다:
curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/openai/chat/completions \
--header 'cf-aig-authorization: Bearer {CF_AIG_TOKEN}' \
--header 'Authorization: Bearer OPENAI_TOKEN' \
--header 'Content-Type: application/json' \
--data '{"model": "gpt-4o" ........
LLM 구성 화면에서 LLM별 헤더를 추가할 수 있는 기능이 있다면 정말 좋겠습니다.
그렇게 하면 우리가 수행하는 모든 호출에 대해 LLM에 cf-aig-authorization 키와 값을 추가할 수 있을 것입니다.