이 봇들은 사이트가 소모하는 리소스에 비해 제공되는 가치가 매우 적은 "리소스를 무차별적으로 소비하는 봇"이기 때문입니다.
물론 원하신다면 Discourse의 robots.txt 파일을 사용자 정의하여 이들을 허용할 수 있습니다. 하지만 우리는 Discourse가 출시되기 훨씬 전에 이미 이 봇들을 차단하고 있으며, 앞으로도 계속 차단할 것입니다.
참고 (수정됨):
이 “리소스를 무차별적으로 소비하는 봇” 중 많은 수가 robots.txt를 무시한다는 점을 언급하는 것을 잊었습니다. 따라서 이들은 HTTP User Agent 레벨에서 차단되어야 합니다. 일반적으로(참고로, 리버스 프록시 뒤에서 실행하는 여러 가지 좋은 이유 중 하나입니다) 우리는 리버스 프록시 레벨에서 mod_rewrite를 사용하여 이 "무례한 리소스 소비 봇"들을 차단합니다.