لاحظنا ارتفاعًا في عدد مرات عرض الصفحات مجهولة الهوية (وليست من البوتات) على forum.makerforums.info واكتشفنا أنها كانت مرتبطة بأسماء مضيفين على شكل crawl-$IP.googlebot.com ضمن كتلة الشبكة 66.249/16. وقد وجدت أن جوجل أعلنت مؤخرًا عن نيتها تغيير سلاسل وكيل المستخدم الخاصة بها:
التقارير (أمر ثانوي): كانت التقارير غير دقيقة، حيث لم يُظهر الرسم البياني النشاط على أنه نشاط “للبوتات” بل على أنه نشاط “مجهول”.
الفهرسة (أمر مهم): هل يعمل الكود المسؤول عن عرض الصفحة بالكامل وإيقاف التمرير اللانهائي مع سلاسل وكيل المستخدم الجديدة؟ (إذا لم يكن الأمر كذلك، فقد نكون تعرضنا لسوء الفهرسة بشكل كبير…)
لقد اختبرتُ مؤخرًا كشف عناكب البحث باستخدام وكلاء المستخدم المذكورين في تدوينة المدونة، وكل شيء يبدو على ما يرام. يمكنك تجربتها بنفسك باستخدام ملحق متصفح من اختيارك، وتحديد أحد وكلاء المستخدم، ثم زيارة موقعك.
يعتمد الإبلاغ على بيانات من RequestTracker الذي يعتمد هو أيضًا على نفس آلية كشف عناكب البحث، لذا لا أعرف سببًا لعدّك للروبوتات كحركة مرور مجهولة الهوية.
أها! بينما ظننت أنني رأيت وكلاء مستخدمين جدد، فقد كنت مخطئًا. بحث خاطئ في السجلات. سلاسل إصدارات كروم الجديدة التي رأيتها جاءت من google-proxy-$IP.google.com وكانت حركة مرور حقيقية تمر عبر وكيل جوجل.
أعتذر بشدة، كان ينبغي أن أغوص أعمق. لكني أظن أن هناك الآن سجلًا هنا يوضح أن سلاسل وكلاء المستخدمين الجدد مقبولة لأي شخص آخر يصاب بالارتباك ويبحث هنا!
