@codinghorror의 이 게시물, How to block all crawlers but Google’s는 봇을 차단하고 허용하는 방법에 대한 정보를 모두 제공합니다. 이것이 찾으시는 내용일 수 있습니다.
아마도 그렇지만, 위에 링크된 주제는 2019년 7월 것입니다. 
@codinghorror의 이 게시물, How to block all crawlers but Google’s는 봇을 차단하고 허용하는 방법에 대한 정보를 모두 제공합니다. 이것이 찾으시는 내용일 수 있습니다.
아마도 그렇지만, 위에 링크된 주제는 2019년 7월 것입니다.