Есть ли способ временно отключить RateLimiter для массового создания администратором?

Скорее всего, я бы запустил скрипт в консоли Rails. Вы уже смотрели: Available settings for global rate limits and throttling? Похоже, что эти лимиты скорости можно изменить.