Почему semrushbot и ahrefsbot заблокированы по умолчанию?

Огромное спасибо за информацию!

Я обнаружил ещё одну проблему и, возможно, вы тоже сможете поделиться своим мнением по этому поводу. :slight_smile:

Я знаю, что по умолчанию Discourse блокирует страницы пользователей, но в отчёте о покрытии в Google Search Console всё ещё индексируются некоторые страницы пользователей. Для Google это проблема, так как все эти страницы не должны индексироваться:

Спасибо!