Использование краулеров в просмотрах страниц

Кракеры выполняют множество задач — наиболее распространёнными являются поисковые краулеры, которые отвечают за индексацию вашего сайта. Подробнее см. Controlling Web Crawlers For a Site.