كان لدي مناسبتان لزيادات مفاجئة، في 8 و 18 يناير - في كلتا المرتين من ياندكس، الزاحف الروسي على الويب. في كلتا المرتين، زادت محاولات الزحف بأكثر من الضعف. أكبر متطفل مع مرور الوقت هو petalbot من PetalSearch.com. كان لديهم ما بين 4 إلى 6 أضعاف عدد عمليات المسح مقارنة بياندكس والروبوتات الأخرى.
إعجاب واحد (1)
إعجاب واحد (1)
إعجاب واحد (1)
يبدو أنهم يعتقدون أنهم شرعيون، وهذا خطأ واضح
إعجاب واحد (1)
في بعض الأحيان تكون هذه الضربات من روبوتات شرعية. في بعض الأحيان… شيء آخر. غالبًا ما تكشف عناوين IP الحقيقة.
على أي حال - هذه عديمة الفائدة تمامًا وهي في الأساس تسرق المحتوى ولا تعطي شيئًا أبدًا. الطريقة الوحيدة لإيقافها هي استخدام وكيل عكسي. ولكن على حد علمي، الوضع جيد مع Discourse لأنها لم تزد الحمل كثيرًا. في عالم WordPress، يمكن أن يؤدي مثل هذا الموقف إلى تعطيل موقع ما.
إعجابَين (2)
شكراً لك على تأكيد وجهة نظري!
إعجاب واحد (1)
كيف ترى هذا؟
إعجاب واحد (1)
يبدو هذا كأحد التقارير القياسية. يجب أن تكون قادرًا على العثور على تقريرك في /admin/reports/web_crawlers 
3 إعجابات
ملخص الذكاء الاصطناعي:
يدور النقاش حول الارتفاعات في عدد مشاهدات الصفحات من روبوتات زاحف الويب على مواقع Discourse. بعض الروبوتات التي تم تحديدها على أنها تسبب ارتفاعات كبيرة في عدد مشاهدات الصفحات تشمل:
- روبوت MegaIndex: قام بحوالي 4000 مشاهدة صفحة في يوم واحد
- MJ12bot: قام بأكثر من 5000 مشاهدة صفحة في يوم واحد
- روبوت Seekport: تسبب في ارتفاعات في مناسبات متعددة
- روبوت Yandex: تسبب في مضاعفة عدد مشاهدات الصفحات مرتين في مناسبتين
- PetalBot من PetalSearch.com: قام بمسح صفحات بمعدل 4-6 مرات أكثر من الروبوتات الأخرى
- روبوت DataForSEO: تسبب في ارتفاع بأكثر من 15000 مشاهدة صفحة في يوم واحد
يمكن أن تسبب هذه الارتفاعات أحيانًا مشاكل في الأداء. تشمل الطرق للحد من حركة مرور الروبوتات استخدام robots.txt، على الرغم من أن ليست كل الروبوتات تحترم هذا. الخيارات الأخرى هي الحظر على مستوى الخادم واستخدام وكيل عكسي. يُنظر إلى الروبوتات على أنها “تسرق المحتوى” دون تقديم قيمة.
إعجاب واحد (1)
@Bas
لقد نشرت ملخصًا تم إنشاؤه بواسطة الذكاء الاصطناعي هنا، ردًا على طلبي، والآن اختفى.
هل قمت بحذفه؟
نعم فعلت، لأن طلبك الأصلي قد أُزيل أيضًا 
لقد قمت باستعادته الآن
شكرا لك.
أميل إلى إزالة الردود التي بعد مرور بعض الوقت لا تكون ذات قيمة في قراءة الموضوع ولكنها لا تترك ثغرات في الموضوع. نظرًا لأنه كان طلبًا بسيطًا وقمت بإنشاء الملخص، لم تكن هناك حاجة للآخرين لقراءة الطلب في كل مرة يزورون فيها هذا الموضوع.
إنها عادة اكتسبتها من مواقع StackExchange حيث كنت أترك تعليقات ثم أحذف التعليقات لاحقًا. هناك أيضًا تعليقات أخرى أكثر فائدة أنشأتها لنفسي وللآخرين ولكنها ليست مرتبطة مباشرة بالموضوع وتبدأ بـ “Of interest”. ربما لدي بضع مئات من هذه التعليقات على مواقع StackExchange. أردت حقًا مثل هذه الميزة لـ Discourse ولكن الاقتراح لم يكتسب زخمًا.
إعجاب واحد (1)
عند التحقق من زيارات موقعنا، كانت مشاهدات الصفحة غير عادية للغاية. بالنظر إلى النظرة العامة عالية المستوى
يبدأ الزيادة في 2023-10-23 مع ما أخمن أنه مستخدم مجهول واحد.
فحص
يُظهر أن الزيادة تتحول إلى عدد قليل من الروبوتات التي لم أتعرف عليها على الفور
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
فقط أشارك هذه المعلومات لأنها قد تكون ذات قيمة لك.
إعجابَين (2)
يحدث لي أيضًا
3 إعجابات
أعتقد أننا رأينا بعض الحالات من هذا. يبدو أنه زاحف لا يعلن عن نفسه كزاحف، لذلك يتم احتسابه كمرات مشاهدة “مجهولة”.
إعجاب واحد (1)
(تعديل بواسطة الناشر - كان هذا المنشور في الأصل موضوعًا جديدًا، تم دمجه هنا، وهذا جيد. كان بعنوان “فضول: انخفاض كبير في زيارات الزواحف منذ أوائل نوفمبر (2023)”)
لا أعتقد أن أي شيء قد تغير من جانبي في هذه المرحلة:
هل يرى أي شخص آخر شيئًا مشابهًا؟
لا يوجد تبادل كبير للأرقام بين Anon والزواحف، لذا فهي ليست تغييرًا في التصنيف.
3 إعجابات
نعم
ألقِ نظرة على هذا الموضوع وهذا المنشور على وجه الخصوص
نظرًا لأنك نشرت تقريرًا عن Consolidated Pageviews، أفترض أن لديك وصول المسؤول.
/admin/reports/consolidated_page_views
استخدم أيضًا
/admin/reports/web_crawlers
لتحديد أي زاحف ويب يقوم بعرض الصفحات.
كما اكتشف بعضنا، ظهرت هذه الروبوتات مؤخرًا وتتسبب في الأرقام المرتفعة
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
إعجاب واحد (1)
آه نعم، لقد رأيت هذا الموضوع، والذي كان يتعلق بالزيادات. ولكن بالفعل، كان هؤلاء الثلاثة مسؤولين عن الأرقام المرتفعة - بعد الثامن، اختفوا جميعًا، وعدنا إلى نوع من خط الأساس. وهذا يفسر الانخفاض.
(المشرفون: لا بأس بلصق هذا الموضوع في أسفل ذلك.) (تعديل: شكرًا للمشرفين!)
3 إعجابات