그곳에서 무슨 일이 있었는지 자세히 살펴보는 방법은 무엇인가요?
어떤 봇이 사이트를 크롤링하고 있는지 자세한 정보는 /admin/reports/web_crawlers의 웹 크롤러 보고서에서 확인하실 수 있습니다.
확인 후, blocked crawler user agents 사이트 설정에 해당 크롤러를 추가하여 특정 크롤러의 사이트 접근을 차단할 수 있습니다. 이 설정은 사용자 에이전트 문자열에 포함된 대소문자를 구분하지 않는 단어를 입력받습니다. 예를 들어, rogerbot 사용자 에이전트를 차단하려면 설정에 rogerbot을 추가하면 됩니다.
감사합니다
방문의 대부분은 덴마크 왕립 도서관 산하의 덴마크식 웹 아카이브(netarchive)에서 온 것 같습니다.
꽤 합리적인 것 같네요 
https://en.statsbiblioteket.dk/national-library-division/netarchive
그 이니셔티브를 차단하고 싶지는 않아요…
