Existe alguma maneira de desativar temporariamente o RateLimiter para criação em massa por administrador?

O que eu provavelmente faria é executar um script no console do Rails. Você já conferiu: Available settings for global rate limits and throttling? Parece que é possível alterar esses limites de taxa.