Слишком много краулеров, это проблема?

Это зависит от размера вашего сайта и user-agent этого краулера. Например, вы не хотите блокировать Googlebot.

Посмотрите здесь: