Почему semrushbot и ahrefsbot заблокированы по умолчанию?

Поддержка продукта
10

Для уточнения: нельзя ли разблокировать semrushbot и SEO Spider? Они необходимы для SEO-аудита. Мы пробовали убрать их из /admin/customize/robots (также пробовали Allow:), но в Screaming Frog получаем ошибку 429. Или эта ошибка 429 — отдельная проблема? Будем очень благодарны за ваши разъяснения.