robots.txt n’est qu’une suggestion polie. Il n’empêche rien en soi. Mais si un user agent respecte ces règles, cela indique que ce bot n’est pas particulièrement malveillant.
Nous devrions effectuer de telles opérations au niveau de nginx 
2 « J'aime »