robots.txt — это лишь вежливая рекомендация. Сама по себе она ничего не блокирует. Но если пользовательский агент соблюдает эти правила, это говорит о том, что бот не является крайне вредоносным.
Такие операции следует выполнять на уровне nginx 
2 лайка