About 1/3 of our traffic is from crawlers (about 250K last month). Is there a way to block these but allow Google’s crawlers?
Ceci est désormais possible via les paramètres du site : recherchez « crawler », plus précisément blocked crawler user agents. Il existe également allowed crawler user agents si vous souhaitez être très strict et interdire tout, sauf un crawler spécifique.
12 « J'aime »