لقد واجهت مشاكل في يوليو مع الكثير من الطلبات من سنغافورة. قمت بحظر نطاق IP، مما نجح لفترة من الوقت، لكن المشكلة عادت بشكل أقوى في أغسطس (من سنغافورة وهونغ كونغ والمكسيك) مع تكلفة CDN عالية وغير متوقعة ![]()
لاحظت ارتفاعًا في عدد مشاهدات الصفحات من Amazonbot و DataForSeoBot و meta-externalagent و SeekportBot، إلخ…
هذه الوثائق Controlling Web Crawlers For a Site تقول:
هذه القائمة لا تحتوي على بعض الزواحف الأكثر زيارة لدي، ولكن لدي سؤال على أي حال.
هل سيكون من المستحسن إضافة هذه القائمة بأكملها إلى إعداد وكلاء الزحف المحظورين؟
هل هناك طريقة لإضافة أسماء الروبوتات بشكل جماعي من ملف .txt؟