About 1/3 of our traffic is from crawlers (about 250K last month). Is there a way to block these but allow Google’s crawlers?
Ahora esto es posible a través de la configuración del sitio; busca “crawler”, específicamente blocked crawler user agents. También existe allowed crawler user agents si deseas ser muy estricto y prohibir todo, excepto un rastreador específico.
12 Me gusta