クローラーはいくつかの目的を果たします。最も一般的なのは検索エンジンのクローラーで、サイトがインデックス化される方法です。詳細については、Controlling Web Crawlers For a Site を参照してください。