7월에 싱가포르에서 대량의 요청이 들어와서 문제가 있었습니다. IP 범위를 차단했는데, 잠시 동안은 효과가 있었지만, 8월에는 싱가포르, 홍콩, 멕시코에서 더 심한 문제가 재발했고, 예상치 못한 높은 CDN 비용이 발생했습니다 
Amazonbot, DataForSeoBot, meta-externalagent, SeekportBot 등에서 높은 페이지뷰를 확인했습니다.
이 문서 Controlling Web Crawlers For a Site 에는 다음과 같이 나와 있습니다:
이 목록에는 제가 가장 많이 방문하는 봇 중 일부가 포함되어 있지 않지만, 그럼에도 불구하고 질문이 있습니다.
차단할 크롤러 사용자 에이전트 설정에 이 전체 목록을 추가하는 것이 권장됩니까?
.txt 파일에서 봇 이름을 일괄 추가하는 방법이 있습니까?