Не могли бы вы подробнее рассказать, для чего на сайте используется Crawler?
Кракеры выполняют множество задач — наиболее распространёнными являются поисковые краулеры, которые отвечают за индексацию вашего сайта. Подробнее см. Controlling Web Crawlers For a Site.