إذا كانت في علامة التبويب وكلاء مستخدمين لروبوتات الزحف على الويب
أنا أملك اسم الروبوت، هل هذا بالضبط ما يجب أن أدخله في الخيارات للتأكد من حظر الروبوت أم اسم آخر؟
على سبيل المثال
MBCrawler/1.0 (https://monitorbacklinks.com/robot)
فما الذي يجب إدخاله هنا
MBCrawler/1.0 أم السطر بالكامل أم ربما أي كلمة تحتوي على اسم ذلك الروبوت؟
//
2Q
وبالمناسبة، هل تقوم بحجب هذه الروبوتات أم لا، لأنني قرأت آراءً مختلفة؟ ربما لا فائدة من القلق بشأن أي روبوت.
ولكن إذا كان الأمر كذلك، فلماذا يتم حجب Ahrefs افتراضيًا، وما إلى ذلك. ما هو الغرض من ذلك؟