Ce post de @codinghorror, Comment bloquer tous les robots d’exploration sauf celui de Google, donne des informations sur le blocage et l’autorisation des robots. C’est peut-être ce que vous cherchez.
Probablement, mais le sujet lié ci-dessus date de juillet 2019. 