إذا كان موقعك عامًا وكان تحسين محركات البحث (SEO) ذا قيمة بالنسبة لك، فإن أي روبوت يضيف بياناتك إلى فهرس مفيد يعتبر “أساسيًا”. راجع مصادر زوار موقعك وقارنها بالروبوتات، هل هناك أي ارتباط؟
قد يكون استخدام قائمة بيضاء للروبوتات (bot whitelist) هو الحل الأفضل هنا، أليس كذلك؟