زواحف الويب

سمعت في موضوع آخر @simon يذكر أن هناك إعدادًا لإيقاف/تحطيم الزواحف، لا يمكنني العثور على هذا الإعداد، كيف أفعل ذلك، هل يعرف أحد أين يوجد وكيف يعمل؟

كان لدي ارتفاع غير عادي لـ 48 زاحفًا في موقعي في 14 يوليو، لا أحب هذه الحشرات الصغيرة، ماذا تفعل؟

ابحث في إعدادات الموقع عن “crawler”. يمكنك حظر أو إبطاء الزحف حسب وكيل المستخدم.

على الأقل يقوم البعض بفهرسة موقعك ليظهر في محركات البحث. ربما تحب ذلك.

9 إعجابات

بالإضافة إلى ذلك، ألقِ نظرة على تقرير “وكلاء مستخدمي برامج زحف الويب” للحصول على اسم برنامج الزحف الذي يسبب المشكلة:

6 إعجابات

شكرًا، وجدتها الآن، أرى أن هناك خمسة أسماء زواحف محظورة افتراضيًا، أعتقد أنها عناكب معروفة بمشاكلها.

يبدو أن هناك خيارًا لاستخدام قائمة السماح للزواحف الجيدة، والتي إذا تم استخدامها ترفض تلقائيًا جميع كائنات الحشرات الكهربائية الأخرى، لا أعرف ما قد تكون الكائنات الجيدة؟

وجدت تقارير وكيل مستخدم زاحف الويب، وأبرزها “YandexBox/3.0” و “CensysInspect/1.1”

سيكون من الجيد الظهور في بعض محركات البحث لاحتياجات العملاء.

أتلقى الكثير من المكالمات من شركات التسويق التي تفرض رسوم اشتراك للمساعدة في ذلك وبناء مواقع الويب، قد يكون الأمر جيدًا ولكنه مزعج بعض الشيء بسبب كل هذه المكالمات حول ذلك.

تجدر الإشارة إلى أن وكلاء المستخدم يمكن تزييفهم بسهولة تامة. إذا كان من Google، يمكنك التأكد من أنه سيذكر ذلك. ولكن مجرد كونه يذكر أنه Google، فهذا لا يعني شيئًا.

(نفس الوضع مع robots.txt، هذه آليات تفترض الثقة. يمكن للأطراف غير الموثوقة ببساطة اتباع قواعد مختلفة.)

إعجابَين (2)

المحتالون المتسللون أسوأ من ابن عرس يمكن أن يكونوا:

https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html

"# كيفية التحقق من أن الروبوت ينتمي إلى ياندكس

يمكن لبعض الروبوتات التنكر في هيئة روبوتات ياندكس عن طريق الإشارة إلى وكيل المستخدم ذي الصلة. يمكنك التحقق من أصالة الروبوت باستخدام البحث العكسي لنظام أسماء النطاقات.

ما عليك سوى اتباع هذه الخطوات:

  1. حدد عنوان IP الخاص بوكيل المستخدم المعني باستخدام سجلات الخادم الخاصة بك.

  2. استخدم البحث العكسي لنظام أسماء النطاقات لعنوان IP لتحديد اسم نطاق المضيف.

  3. تحقق مما إذا كان المضيف ينتمي إلى ياندكس. تنتهي جميع أسماء روبوتات ياندكس بـ yandex.ru أو yandex.net أو yandex.com. إذا كان اسم المضيف له نهاية مختلفة، فإن الروبوت لا ينتمي إلى ياندكس.

  4. تأكد من صحة الاسم. استخدم بحثًا أماميًا لنظام أسماء النطاقات للحصول على عنوان IP المقابل لاسم المضيف. يجب أن يتطابق مع عنوان IP المستخدم في البحث العكسي لنظام أسماء النطاقات. إذا لم تتطابق عناوين IP، فهذا يعني أن اسم المضيف مزيف."

هناك أيضًا دليل هنا يمكنك الرجوع إليه:

إعجابَين (2)

هل تعرف ما إذا كانت برامج الزحف على الويب مثل هذه تفهرس المواقع لأنظمة البحث الصوتي؟

أتلقى عددًا قليلاً من المكالمات الآلية كل يوم حول عدم تسجيل شركتي في محركات البحث الصوتية الرئيسية بالذكاء الاصطناعي، ويبدو أن هذه مجرد شركات طرف ثالث تقوم بذلك ولست متأكدًا مما إذا كان هذا شرعيًا.

على وجه التحديد: فرض رسوم خدمة اشتراك “لتسجيل” شركة في البحث، أو المساعدة في ظهور الشركات في الصفحة الأولى من نتائج البحث.

لا أعرف. أشك في ذلك.

لقد تفاعلت مع بعض الأشخاص الذين أعتقد أنهم يستطيعون المساعدة فعليًا في هذا الأمر، والبعض يستخدم طرقًا مشروعة. يبدو أنهم الاستثناء في تقديري.

إعجاب واحد (1)

لا أعرف شيئًا عن البحث الصوتي أيضًا، ولا أرغب بالضرورة في أن يتم فهرسة شركتي بواسطتها على الإطلاق.

هذا أمر مهم يجب تذكره خاصة في هذه الأيام، حيث أصبح المحتالون أكثر تطوراً.
المكالمات التي أتلقاها غالباً ما تقول “تم وضع علامة على قائمة جوجل الخاصة بك للمراجعة”، مما يوحي بأن جوجل هي التي تتصل، لكن جوجل لا تتصل أبداً. تقوم بعض الشركات بتسمية نفسها “شركة شريكة لجوجل”، لست متأكداً مما يعنيه ذلك إذا كان هذا شيئاً موجوداً بالفعل.

إعجاب واحد (1)

سمعت من أحد الممثلين أن هناك حوالي 40 شركة مختلفة تقوم بذلك، تتصل بالشركات الناشئة لتسجيلها على منصات البحث الصوتي، وهذا يفسر سبب كثرة المكالمات.

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.