# Абьюзивный парсинг Amazonbot **URL:** \ **Category:** Support\ **Created:** [01.Май.2021 10:53:35 UTC](https://meta.discourse.org/t/amazonbot-abusive-crawling/188803 "2021-05-01T10:53:35Z")\ **Posts on this page:** 5\ **Page:** 1
**Author:** ![deeplow](https://avatars.discourse-cdn.com/v4/letter/d/df788c/32.png) [@deeplow](https://meta.discourse.org/u/deeplow)\ **Post date:** [01.Май.2021 10:53:35 UTC](https://meta.discourse.org/t/amazonbot-abusive-crawling/188803/1 "2021-05-01T10:53:35Z")
Привет! Я хотел бы сообщить о агрессивном сканировании со стороны бота с пользовательским агентом: ```plaintext Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) ``` Похоже, это [бот от Amazon](https://developer.amazon.com/support/amazonbot), но я не смог проверить исходные IP-адреса для подтверждения. Вот как выглядели последние 5 дней: ![crawler3](https://global.discourse-cdn.com/meta/original/3X/c/c/cce3cf73fd9263f3141f6b2cd6408cfea56c99cd.png) Для сравнения, вот наша таблица пользовательских агентов за последние два дня: 39649 против 457. ![crawler4](https://global.discourse-cdn.com/meta/original/3X/b/d/bdb5b1a9f74c4addf48ba68b8458a789262cf688.png) Лично меня это не сильно беспокоит, так как хостингом занимаемся не мы, и проблем с производительностью мы не заметили, но CDCK столкнулся с ними. Поэтому решил поделиться этой информацией здесь. ---
**Author:** ![codinghorror](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/codinghorror/32/110067_2.png) [@codinghorror](https://meta.discourse.org/u/codinghorror)\ **Post date:** [03.Май.2021 05:03:51 UTC](https://meta.discourse.org/t/amazonbot-abusive-crawling/188803/2 "2021-05-03T05:03:51Z")
Можно перепроверить это, @dax? ---
**Author:** ![dax](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/dax/32/244677_2.png) [@dax](https://meta.discourse.org/u/dax)\ **Post date:** [04.Май.2021 18:18:21 UTC](https://meta.discourse.org/t/amazonbot-abusive-crawling/188803/4 "2021-05-04T18:18:21Z")
Судя по нашим логам сайта и контейнеров, всплеск наблюдался только в этот день и только на этом сайте. 1 мая: | IP-адрес клиента | Amazonbot\* | | --- | --- | | 107.23.182.118 | 3 560 | | 54.90.49.0 | 3 210 | | 35.175.129.27 | 3 204 | | 3.80.18.217 | 2 646 | | 35.153.79.214 | 2 529 | | 34.201.164.175 | 2 432 | | 107.21.55.67 | 1 959 | | 34.204.61.165 | 1 538 | | 18.208.120.81 | 1 473 | | 100.25.191.160 | 1 276 | \* `Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)` ---
**Author:** ![deeplow](https://avatars.discourse-cdn.com/v4/letter/d/df788c/32.png) [@deeplow](https://meta.discourse.org/u/deeplow)\ **Post date:** [04.Май.2021 22:01:04 UTC](https://meta.discourse.org/t/amazonbot-abusive-crawling/188803/6 "2021-05-04T22:01:04Z")
Понятно. Спасибо, что проверили. Скорее всего, это технический специалист, у которого был плохой день, и он создал бота низкого качества, чтобы атаковать наш сайт, но безрезультатно. Мы уже заблокировали этого сканера. ---
**Author:** ![mcdanlj](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/mcdanlj/32/131829_2.png) [@mcdanlj](https://meta.discourse.org/u/mcdanlj)\ **Post date:** [05.Февраль.2023 18:14:06 UTC](https://meta.discourse.org/t/amazonbot-abusive-crawling/188803/7 "2023-02-05T18:14:06Z")
Поскольку я сам недавно столкнулся с чем-то подобным… Я очень рад, что Alexa может использовать контент моего сайта для ответов на вопросы, поэтому я не хочу её блокировать. Однако я заметил всплеск трёхдневного интенсивного трафика от AmazonBot (по сравнению со всем остальным использованием сайта, включая всех остальных ботов вместе взятых, а также весь остальной трафик сайта в целом). При этом Amazon указывает: > AmazonBot не поддерживает директиву `crawl-delay` в файле robots.txt Поэтому, по-видимому, разумно добавить `Amazonbot` в список `slow_down_crawler_user_agents`, чтобы они не оказывали чрезмерного влияния на производительность сайта для пользователей. Спасибо, ребята из Discourse, за реализацию функциональности, которую должны поддерживать краулеры, но в данном случае не поддерживают. ❤