robots.txt es solo una sugerencia cortés. No detiene nada por sí mismo. Pero si un agente de usuario sigue esas reglas, indica que ese bot no es particularmente malicioso.
Deberíamos realizar estas operaciones a nivel de nginx 
2 Me gusta