للمستخدمين الذين لديهم صلاحيات إدارية في التحقق من وكلاء المستخدمين لـ Web Crawler
على سبيل المثال، الرابط الفعلي، قم بتغيير عنوان URL لموقعك حسب الحاجة.
https://swi-prolog.discourse.group/admin/reports/web_crawlers
يُظهر موقعنا زيادة مفاجئة في وكلاء Mastodon. أشك في أن هؤلاء الوكلاء يأتون من مواقع Mastodon. نظرًا لأنني لا أستخدم Mastodon، يتعين علي الآن التحقيق فيما إذا كانت هذه مشكلة محتملة لموقعنا أو مجرد شيء يجب الانتباه إليه.
نظرًا لأن التقرير كما هو معروض على صفحة الويب يقطع بعض المعلومات المطلوبة، فقد قمت بتنزيل التقرير.
web-crawlers-251023-084425-10.zip (4.3 KB)
في النهاية، لاحظ الأسطر مثل:
http.rb/5.1.1 (Mastodon/4.2.20; +https://acc4e.com/),1
هل يمكن لأي شخص أن يوضح المزيد حول:
- هل يرتبط هؤلاء الوكلاء بمواقع التواصل الاجتماعي Mastodon؟
- هل سيظهر المزيد في المستقبل بسبب طريقة عمل Mastodon، بمعنى آخر، هل يتم إنشاؤها عن غير قصد ولكن كأثر جانبي لطريقة إعداد أو استخدام Mastodon؟
- هل يجب/يمكن رفضهم كـ crawler إذا لم تكن لديهم قيمة لموقع Discourse؟
ليست مشكلة ملحة في الوقت الحالي حيث أن جميع وكلاء Mastodon يُظهرون صفحة مشاهدة واحدة فقط بينما يُظهر الجزء العلوي من القائمة لوكيل Mozilla/5.0 عدد 37,279.