كيف يمكن الغوص ورؤية ما حدث هناك؟
يمكنك العثور على معلومات مفصلة حول الروبوتات التي تقوم بالزحف إلى موقعك في تقرير الزحف عبر الويب في /admin/reports/web_crawlers.
بمجرد التحقق من هناك، يمكنك منع روبوتات الزحف المحددة من موقعك عن طريق إضافتها إلى إعداد “وكلاء المستخدم المحظورين للزحف”. يتطلب هذا الإعداد كلمة غير حساسة لحالة الأحرف موجودة في سلسلة وكيل المستخدم. على سبيل المثال، لمنع وكيل المستخدم rogerbot، أضف rogerbot إلى الإعداد.
شكرًا لك
كانت معظم الزيارات من أرشيف شبكة دنماركي تابع للمكتبة الملكية الدنماركية
يبدو الأمر منصفًا جدًا 
https://en.statsbiblioteket.dk/national-library-division/netarchive
لا نرغب في عرقلة هذه المبادرة…
