يجب عليك حظر الروبوتات التي تسبب مشاكل فقط، والتركيز على عدم حظر أي شيء آخر.
كما ذكرت في منشوري السابق. إذا ذهبت إلى
your.site.com/admin/reports/web_crawlers
ستحصل على قائمة كاملة بجميع الروبوتات الزائرة على موقعك وعدد مرات عرض الصفحة لكل روبوت. هل يمكنك التقاط لقطة شاشة لتلك الصفحة ونشرها هنا؟