Pouvez-vous s’il vous plaît expliquer l’utilité du robot d’exploration sur le site ?
Les robots d’exploration servent à plusieurs fins – les plus courantes étant les robots d’exploration des moteurs de recherche, qui permettent d’indexer votre site. Voir Controlling Web Crawlers For a Site pour plus d’informations.