크롤러는 다양한 목적으로 사용됩니다. 가장 일반적인 용도는 검색 엔진 크롤러로, 이를 통해 웹사이트가 색인화됩니다. 자세한 내용은 Controlling Web Crawlers For a Site 를 참조하세요.