안녕하세요, 특정 user agent를 가진 봇의 공격적인 크롤링을 보고드립니다.
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
아마존의 봇으로 보이지만, 이를 확인하기 위해 원본 IP 주소를 확인하지는 못했습니다.
최근 5일간의 현황은 다음과 같습니다:
비교를 위해, 최근 2일간의 사용자 에이전트 테이블을 첨부합니다. 39649건 대 457건입니다.
저희는 호스팅을 직접 하지 않고 있으며 성능 문제도 발견하지 못했기 때문에 개인적으로는 크게 신경 쓰지 않습니다. 하지만 CDCK는 신경 쓰고 있습니다. 그래서 여기에서 공유하는 것이 흥미로울 것 같아 공유드립니다.
@dax, 이거 한번 더 확인해 볼 수 있을까?
당사의 사이트 및 컨테이너 로그에 따르면, 해당 스파이크는 특정 날에만 그리고 해당 사이트에서만 발생했던 것으로 보입니다.
5월 1일:
| 클라이언트 IP | Amazonbot* |
|---|---|
| 107.23.182.118 | 3,560 |
| 54.90.49.0 | 3,210 |
| 35.175.129.27 | 3,204 |
| 3.80.18.217 | 2,646 |
| 35.153.79.214 | 2,529 |
| 34.201.164.175 | 2,432 |
| 107.21.55.67 | 1,959 |
| 34.204.61.165 | 1,538 |
| 18.208.120.81 | 1,473 |
| 100.25.191.160 | 1,276 |
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)알겠습니다. 확인해 주셔서 감사합니다. 아마도 기술적인 사용자로, 나쁜 하루를 보내며 우리 웹사이트를 겨냥한 저질스러운 봇을 만들었을 가능성이 높습니다. 효과는 없었지만요. 이후 해당 크롤러를 차단했습니다.
나도 얼마 전 비슷한 상황에 직면했기 때문에…
알렉사가 내 사이트의 콘텐츠를 활용해 질문에 답할 수 있게 되는 것은 매우 반갑고, 실제로 차단하고 싶지 않습니다. 하지만 최근 AmazonBot에서 3일간의 집중적인 트래픽 폭주(다른 모든 사이트 사용량, 기타 모든 봇의 합계, 그리고 전체 사이트 트래픽을 통틀어 비교했을 때)를 목격했습니다. 그리고 아마존은 다음과 같이 명시하고 있습니다:
AmazonBot은 robots.txt의
crawl-delay지시어를 지원하지 않습니다.
따라서 사용자에게 미치는 사이트 성능의 부정적 영향을 최소화하기 위해 Amazonbot을 slow_down_crawler_user_agents에 추가하는 것이 현명한 조치로 보입니다.
크롤러가 마땅히 준수해야 하지만 이 경우에는 지키지 않는 기능을 구현해 주셔서 감사합니다. 디스코르스 팀 여러분. 