Sim, acho que sim 
Você está tentando usar o endpoint compatível com OpenAI que o Google fornece em vez do endpoint nativo do Gemini.
Tente usar:
https://generativelanguage.googleapis.com/v1beta/models/gemini-2.0-flash
E use o provedor Gemini.
A camada de compatibilidade do OpenAI tem algumas limitações.