Esta postagem de @codinghorror, Como bloquear todos os crawlers, exceto os do Google, fornece informações sobre como bloquear e permitir bots. Isso pode ser o que você está procurando.
Provavelmente, mas o tópico vinculado acima é de julho de 2019. 
Esta postagem de @codinghorror, Como bloquear todos os crawlers, exceto os do Google, fornece informações sobre como bloquear e permitir bots. Isso pode ser o que você está procurando.
Provavelmente, mas o tópico vinculado acima é de julho de 2019.