robots.txt é apenas uma sugestão educada. Por si só, ele não impede nada. Mas, se um user agent seguir essas regras, isso indica que o bot não é malicioso.
Devemos realizar essas operações no nível do nginx 
2 curtidas