نعم، بالطبع، لقد نسيت أن أوضح أنني أقوم بإدارة عملية التنظيف هذه؛ crawler crawler، مع تحليل شبه أسبوعي لتحديد أيها الأكثر عدوانية على الموقع، ثم أحجبه واحدًا تلو الآخر.
ما أخشاه هو أن إضافة عدد كبير من البوتات إلى القائمة السوداء قد يؤثر بطريقة ما على أداء الموقع.
لذلك فكرت أنه ربما يكون من الأفضل، بدلاً من الحظر واحدًا تلو الآخر، إضافة البوتات الأساسية إلى القائمة البيضاء وحظر جميع البوتات الأخرى. لكن… هل توجد بالفعل متتبعات أساسية؟
لقد بحثت في المنتدى لأرى ما إذا كان هناك نقاش مخصص للبوتات الأساسية، لكنني لم أعثر عليه. إذا كنت تعرف موضوعًا يتعلق بهذا الأمر، أرجو إخباري به.