robots.txt هو مجرد اقتراح لبقائي. لا يمنع أي شيء بحد ذاته. ولكن إذا اتبع وكيل المستخدم هذه القواعد، فهذا يخبرنا أن هذا الروبوت ليس خبيثًا بشكل رهيب.
يجب أن نقوم بمثل هذه العمليات على مستوى nginx 
إعجابَين (2)