웹 크롤러 사용자 에이전트 탭에서
봇의 이름이 표시되면, 해당 봇이 차단되도록 옵션에 정확히 그 이름을 입력해야 하는지, 아니면 다른 이름을 입력해야 하는지 궁금합니다.
예를 들어
MBCrawler/1.0 (https://monitorbacklinks.com/robot)
이 경우 여기에 무엇을 입력해야 하나요?
MBCrawler/1.0만 입력해야 하는지, 아니면 전체 줄을 입력해야 하는지, 혹은 해당 봇 이름을 포함하는 어떤 단어든 입력하면 되는 건가요?
//
2Q
그리고 참고로, 이런 봇들을 실제로 차단하고 있는지 아니면 안 하고 있는지 궁금합니다. 서로 다른 의견들을 읽었거든요. 어쩌면 어떤 봇에 대해 걱정할 필요가 없을 수도 있습니다.
하지만 만약 차단한다면, 왜 Ahrefs는 기본적으로 차단되어 있는 등 이런 것들이 어떤 목적을 가지고 있는 건가요?
