Questo è ora possibile tramite le impostazioni del sito: cerca “crawler”, in particolare blocked crawler user agents. È disponibile anche allowed crawler user agents se desideri essere molto rigoroso e disabilitare tutto tranne un crawler specifico.
12 Mi Piace