Bueno, eso depende del tamaño de tu sitio y del agente de usuario de ese rastreador. Por ejemplo, no quieres bloquear a Googlebot.
Echa un vistazo aquí