robots.txt è solo un suggerimento gentile. Di per sé non blocca nulla. Ma se un user agent segue quelle regole, indica che quel bot non è particolarmente malizioso.
Dovremmo eseguire queste operazioni a livello di nginx 
2 Mi Piace