Esta publicación de @codinghorror, Cómo bloquear todos los rastreadores excepto los de Google, proporciona información sobre cómo bloquear y permitir bots. Esto podría ser lo que estás buscando.
Probablemente, pero el tema enlazado de arriba es de julio de 2019. 