robots.txt ist lediglich eine höfliche Empfehlung. Sie stoppt nichts per se. Wenn ein User-Agent jedoch diese Regeln befolgt, zeigt das, dass der Bot nicht bösartig ist.
Wir sollten solche Vorgänge auf Nginx-Ebene durchführen 
2 „Gefällt mir“