Ceci est désormais possible via les paramètres du site : recherchez « crawler », plus précisément blocked crawler user agents. Il existe également allowed crawler user agents si vous souhaitez être très strict et interdire tout, sauf un crawler spécifique.
12 « J'aime »