네, 물론이죠. 제가 이 정리 작업을 크롤러별로, 거의 매주 분석을 통해 웹사이트에 가장 많이 침입하는 크롤러를 찾아내고 하나씩 차단하고 있다는 점을 설명하는 것을 잊었습니다.
제가 걱정하는 것은 블랙리스트에 너무 많은 봇을 추가하면 사이트의 성능에 어떤 식으로든 영향을 미칠 수 있다는 것입니다.
그래서 하나씩 차단하는 대신, 필수적인 봇만 화이트리스트에 추가하고 나머지는 전부 차단하는 것이 가장 좋겠다는 생각이 들었습니다. 하지만… 필수적인 트래커가 실제로 존재할까요?
필수 크롤러에 "전용"으로 논의되는 주제가 있는지 포럼을 검색해 보았지만 찾지 못했습니다. 이 주제와 관련된 항목을 아시면 알려 주십시오.