Muitos crawlers, isso é um problema?

Bem, isso depende do tamanho do seu site e do agente de usuário desse rastreador. Por exemplo, você não quer bloquear o Googlebot.

Dê uma olhada aqui