Bem, isso depende do tamanho do seu site e do agente de usuário desse rastreador. Por exemplo, você não quer bloquear o Googlebot.
Dê uma olhada aqui