Sugiro pesquisar discussões anteriores sobre limitação de taxa.
Não sou profundo neste tópico, mas, pelo que entendi, a limitação de taxa é aplicada em dois estágios: primeiro, o nginx faz a limitação de taxa (sem saber sobre os níveis de confiança) e, em seguida, o aplicativo rails faz outra camada de proteção.
Se desejar testar a hipótese de que você encontra limites de taxa na camada nginx, você pode comentar a seguinte linha em seu app.yml:
- templates/web.ratelimited.template.yml