ملاحظة جانبية تطرح سؤالاً، هل يمكن أن يساعد استخدام Cloudflare أيضًا في فهرسة Google؟
لاحظت بعض التحسينات بالأمس، واتجاهًا إيجابيًا في الفهرسة والانطباعات، ولكن قد يكون ذلك مجرد صدفة. 
لاحظت زيادة كبيرة في نهاية شهر أكتوبر. يجب أن تكون هذه تتجاوز ميزة التخفيف حظر روبوتات الذكاء الاصطناعي الخاصة بـ CF.
تقترح CF الآن استخدام متاهة الذكاء الاصطناعي (AI Labyrinth):
تقوم متاهة الذكاء الاصطناعي بتعديل صفحات الويب الخاصة بك عن طريق إضافة روابط nofollow تحتوي على محتوى تم إنشاؤه بواسطة الذكاء الاصطناعي لتعطيل الروبوتات التي تتجاهل معايير الزحف. لا تؤدي روابط nofollow المضافة إلى تغيير محتويات صفحات الويب الخاصة بك وهي مرئية فقط للروبوتات.
هل نقاوم الذكاء الاصطناعي بالذكاء الاصطناعي؟ 
سباق تسلح الذكاء الاصطناعي؟
إعجاب واحد (1)
إنه سباق تسلح، ومثلما هو الحال مع مرسلي الرسائل غير المرغوب فيها، أظن أنه سيظل كذلك دائمًا.
ما هو الخيار البديل لـ Cloudflare (ملجأ تحت الأرض) كوسيط للتخفيف من هذا، أم أنه الخيار الوحيد؟
يبدو الأمر وكأنه إما كل شيء أو لا شيء، ولا شيء = حركة مرور الذكاء الاصطناعي التي تتصرف مثل هجوم الحرمان من الخدمة الموزع! 
إعجاب واحد (1)
هذه الزيادة تمثل إزعاجًا حقيقيًا، وكان الإجراء الأكثر فعالية هو الحظر الجغرافي الكامل لحركة المرور من كل منطقة جغرافية أخرى باستثناء المنطقة الجغرافية التي تأتي منها غالبية حركة المرور حاليًا.
هناك العديد من أنظمة أسماء المضيفين (ASN) التي يُحتمل تورطها في هذه الزيادة، وانتقاؤها عملية بطيئة.
هذا يجعل الأمور غير قابلة للاستمرار على المدى المتوسط إلى الطويل.
إعجاب واحد (1)
بالنسبة لي، ما يهم أكثر هو تجربة المستخدمين البشريين الفعليين - سواء كانوا أعضاء أو متصفحين. طالما أن استجابة المنتدى لدي جيدة، ولا يتم محاسبتي على حركة مرور إضافية، أو لا تمتلئ مساحة التخزين الخاصة بي بالسجلات، فإن حركة المرور الإضافية غير المرغوب فيها هذه ليست مصدر قلق حقيقي.
من الممكن بالطبع أن ترتفع تكاليفي إذا احتجت إلى إضافة ذاكرة وصول عشوائي (RAM) أو مساحة تخزين أو وحدات معالجة مركزية (CPUs)، أو إذا احتجت إلى الدفع مقابل حركة المرور المفرطة. لم يحدث ذلك بعد، بالنسبة لي.
إعجابَين (2)
نعم، تجربة المستخدم هي الأهم، وهي الغرض الأساسي من هذا الموضوع. نحن موجودون فقط بسبب “المستخدمين” ولكن في بعض الأحيان أتساءل عما إذا كان المطورون وما شابههم ينسون هذا الأمر. 
هذه الأشياء التي تعمل بالذكاء الاصطناعي تُحمّل الخادم بشكل كبير لدرجة أنك تبدأ في الحصول على أخطاء 50x. خاصة إذا حاولت إجراء بحث. يمكن للمنصة أن تتحمل الكثير من حركة المرور وتصمد، لكنها تصبح متشنجة بعض الشيء.
أتساءل ما هي المواصفات التي تتعامل معها وهل هي خلف CF أو جدار حماية لتطبيقات الويب (WAF) آخر؟
لقد رأيت أن طفرة الذكاء الاصطناعي هذه تضرب خوادم بـ 4vCPU و 8 جيجابايت و 160+ جيجابايت من مساحة القرص الصلب، والتي تدير بسهولة تدفقات من 10 مستخدمين فريدين في طفرة زيارات فريدة حقيقية، بدأت تعاني بشدة تحت سحب الذكاء الاصطناعي.
تشغيل منصة Discourse على خادم مبتدئ، لنقل خادم بسعة 2 جيجابايت، سيؤدي بسرعة كبيرة إلى بدء المنصة في التداعي والانهيار، إن لم تكن خلف شيء مثل CF.
هذا العامل لم يحدث قبل الذكاء الاصطناعي، إلا إذا كان لديك موضوع ساخن. لقد رأيت ذلك يحدث ولكن فقط بعد وقوعه، لأنه لم يكن هناك فرق ملحوظ في الأداء، وتعاملت منصة Discourse مع تقديم الخدمة دون أي مشكلة.
بالنظر إلى بيانات CF، يبلغ متوسط البيانات المقدمة يوميًا حوالي 2 جيجابايت على مدار شهر، وعندما ضرب هذا السرب، قفز إلى 14 جيجابايت دون علامات على التوقف، حتى وضعت بعض قواعد WAF حداً لهذا الهجوم.
بالتأكيد، إذا وجدت أنك تتلقى أخطاء 50x، فهذا شيء خطير.
كنت أعمل خلف Cloudflare وسأفعل ذلك مرة أخرى إذا واجهت مشكلة: فكرتي هي أن لديهم رؤية مركزية لجميع حركة المرور الضارة ويمكنهم الاستجابة بسرعة ومركزيًا. أعتقد أن لديهم عروضًا محددة لإيقاف برامج الزحف للذكاء الاصطناعي ذات السلوك السيئ. لا أتوقع أن تنجح الأساليب المحلية بشكل جيد في سباق التسلح هذا.
تمامًا كما أدفع رسومًا بسيطة لـ Mailgun للتعامل مع البريد، وهو ما لن أحتاجه في عالم مثالي، سأقبل أنني قد أحتاج إلى دفع رسوم بسيطة لشخص ما لحظر هذه الزيارات غير المرغوب فيها.