새로운 googlebot 감지 방법?

제품 지원
1

forum.makerforums.info에서 익명(봇이 아닌) 페이지 뷰가 급증하는 것을 발견했고, 해당 트래픽이 66.249/16 넷블록의 crawl-$IP.googlebot.com 호스트명과 관련되어 있음을 확인했습니다. 구글이 최근 사용자 에이전트 문자열을 변경할 것이라고 발표한 것을 알게 되었습니다:

https://webmasters.googleblog.com/2019/10/updating-user-agent-of-googlebot.html

두 가지 우려 사항이 있습니다:

  • 리포트(경미함): 리포트가 단순히 부정확했습니다. 그래프에서 해당 활동이 “크롤러” 활동이 아닌 "익명"으로 표시되었기 때문입니다.
  • 인덱싱(중요): 현재 무한 스크롤을 비활성화하기 위해 전체 페이지를 표시하는 코드가 새로운 사용자 에이전트와 정상적으로 작동합니까? (작동하지 않는다면, 우리는 제대로 인덱싱되지 못하고 있었던 것일 수 있습니다…)
2

블로그 게시물에 언급된 사용자 에이전트를 사용하여 크롤러 감지를 방금 테스트해 보았는데, 모든 것이 정상으로 보입니다. 원하는 브라우저 플러그인을 사용해 해당 사용자 에이전트 중 하나를 설정하고 사이트를 방문하면 직접 테스트해 볼 수 있습니다.
리포트는 동일한 크롤러 감지를 기반으로 하는 RequestTracker의 데이터를 사용하므로, 봇이 익명 트래픽으로 집계되는 이유를 정확히 파악하기 어렵습니다.

3

아하! 새로운 사용자 에이전트를 봤다고 생각했지만, 제 착각이었습니다. 로그 검색을 제대로 하지 못했네요. 제가 본 새로운 Chrome 버전 문자열은 google-proxy-$IP.google.com에서 온 것이었고, 구글 프록시를 통해 실제 트래픽이 지나간 것이었습니다.

정말 죄송합니다. 더 깊이 파고들었어야 했는데요. 하지만 이제 다음에 검색을 하러 올 혼란스러운 사람을 위해, 새로운 사용자 에이전트 문자열은 괜찮다는 기록이 여기에 남게 되었네요! :smiling_face:

:blush: