About 1/3 of our traffic is from crawlers (about 250K last month). Is there a way to block these but allow Google’s crawlers?
Isso agora é possível nas configurações do site. Procure por “crawler”, especificamente blocked crawler user agents. Também existe allowed crawler user agents caso você queira ser muito rigoroso e bloquear tudo, exceto um crawler específico.
12 curtidas