Questo post di @codinghorror, Come bloccare tutti i crawler tranne quello di Google, fornisce informazioni sia sul blocco che sull’autorizzazione dei bot. Potrebbe essere quello che stai cercando.
Probabilmente, ma l’argomento collegato sopra è di luglio 2019. 