Этот пост от @codinghorror, Как заблокировать всех краулеров, кроме Google, содержит информацию как о блокировке, так и о разрешении работы ботов. Возможно, это то, что вы ищете.
Вероятно, но упомянутая выше тема была создана в июле 2019 года. 
Этот пост от @codinghorror, Как заблокировать всех краулеров, кроме Google, содержит информацию как о блокировке, так и о разрешении работы ботов. Возможно, это то, что вы ищете.
Вероятно, но упомянутая выше тема была создана в июле 2019 года.