Isso agora é possível nas configurações do site. Procure por “crawler”, especificamente blocked crawler user agents. Também existe allowed crawler user agents caso você queira ser muito rigoroso e bloquear tudo, exceto um crawler específico.
12 curtidas