Вы можете делать что угодно, но я бы был осторожен. Существуют и другие легитимные боты.
Почему бы вам не заглянуть в отчёт о краулерах и не посмотреть, какие из них создают больше всего шума?
3 лайка