2018~2020년경 bingbot이 매우 높은 속도로 크롤링하는 것이 발견된 이 스레드를 찾았습니다.
저희 사이트에서도 이러한 현상이 관찰되고 있지만, 이 문제가 얼마나 오래 지속되어 왔는지는 확실하지 않습니다.
아래 스크린샷에서 순위는 다음과 같습니다.
- Bingbot
- Yandex
- Bingbot (모바일)
- Site monitor
- 특정 이미지 봇
Google은 Bing의 10배 이상의 유입 트래픽을 차지하고 있으면서도 크롤러 히트 수의 약 12%만 사용하고 있습니다.
다른 분들도 비슷한 통계를 확인하고 계신가요?
지금은 bingbot을 slow down crawler user agents 목록에 추가해 두었습니다.
