لأن هذه الروبوتات تُعدّ «مستهلكات مفرطة للموارد» وتوفر قيمة ضئيلة جدًا للمواقع مقارنة بالكم الهائل من الموارد التي تستهلكها.
بالطبع، يمكنك تخصيص ملف robots.txt في Discourse والسماح لها إذا رغبت؛ لكننا نحجب هذه الروبوتات على مواقعنا منذ فترة طويلة قبل إصدار Discourse، ولا نزال نحجبها.
ملاحظة (تم التعديل):
نسيت أن أذكر أن العديد من هذه «المستهلكات المفرطة للموارد» لا تحترم ملف robots.txt، ويجب حجبها على مستوى وكيل المستخدم (HTTP User Agent). نحن نحجب هذه «المستهلكات غير المحترمة للموارد» باستخدام mod_rewrite على مستوى وكيل العكس (reverse proxy)، بشكل عام (وهو أحد الأسباب العديدة الجيدة لتشغيل المواقع خلف وكيل عكسي، بالمناسبة).