Você pode, por favor, detalhar qual é o uso do Crawler no site?
Crawlers servem a uma série de propósitos – o mais comum sendo os crawlers de mecanismos de busca, que são como seu site é indexado. Veja Controlling Web Crawlers For a Site para mais informações.