Puoi per favore elaborare sull’uso del Crawler sul sito?
I crawler servono a diversi scopi, il più comune dei quali sono i crawler dei motori di ricerca, che servono a indicizzare il tuo sito. Vedi Controlling Web Crawlers For a Site per maggiori informazioni.