مرحبًا، أردت الإبلاغ عن زحف عدواني من قبل الروبوت الذي يحمل اسم المستخدم
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
شخصيًا، لا أهتم كثيرًا بهذا الأمر لأننا لسنا المسؤولين عن الاستضافة ولم نلاحظ أي مشاكل في الأداء، لكن CDCK يهتم. لذا اعتقدت أن من المثير للاهتمام مشاركة ذلك هنا.
من سجلات موقعنا وسجلات الحاويات، يبدو أن هناك ارتفاعًا فقط في ذلك اليوم المحدد وعلى ذلك الموقع فقط.
1 مايو:
عنوان IP للعميل
Amazonbot*
107.23.182.118
3,560
54.90.49.0
3,210
35.175.129.27
3,204
3.80.18.217
2,646
35.153.79.214
2,529
34.201.164.175
2,432
107.21.55.67
1,959
34.204.61.165
1,538
18.208.120.81
1,473
100.25.191.160
1,276
* Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
يسعدني جدًا أن تتمكن Alexa من استخدام محتوى موقعي للإجابة على الأسئلة، لذلك لا أرغب حقًا في حظره. ومع ذلك، رأيت للتو انفجارًا لمدة ثلاثة أيام من حركة المرور الكثيفة من AmazonBot (مقارنة بجميع استخدامات المواقع الأخرى، بما في ذلك جميع الروبوتات الأخرى مجتمعة، بالإضافة إلى جميع حركة مرور المواقع الأخرى بشكل عام)، وأرى أن أمازون تقول:
لا يدعم AmazonBot التوجيه crawl-delay في robots.txt
يبدو من الحكمة، بالتالي، إضافة Amazonbot إلى slow_down_crawler_user_agents حتى لا يكون لها تأثير غير متناسب على أداء الموقع للمستخدمين.
شكرًا لكم يا فريق Discourse، على تنفيذ وظائف يجب أن تقوم بها الروبوتات، ولكن في هذه الحالة لا تفعل.
