# Политика блокировки поисковых роботов требует авторизации на ограниченных страницах

**URL:** <https://meta.discourse.org/t/crawler-blocked-requires-login-on-restricted-pages/310250>\
**Category:** Support\
**Created:** [02.Июнь.2024 15:17:01 UTC](https://meta.discourse.org/t/crawler-blocked-requires-login-on-restricted-pages/310250 "2024-06-02T15:17:01Z")\
**Posts on this page:** 4\
**Page:** 1

<div class="post-metadata">

**Author:** ![Isambard](https://avatars.discourse-cdn.com/v4/letter/i/858c86/32.png) [@Isambard](https://meta.discourse.org/u/Isambard)\
**Post date:** [02.Июнь.2024 15:17:01 UTC](https://meta.discourse.org/t/crawler-blocked-requires-login-on-restricted-pages/310250/1 "2024-06-02T15:17:01Z")

</div>

На моём форуме есть категории, доступ к которым требует определённого уровня владения языком.

Google пытается их просканировать и получает ошибку. Нужно ли автоматически исключать их из robots.txt?

---

<div class="post-metadata">

**Author:** ![sam](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/sam/32/102149_2.png) [@sam](https://meta.discourse.org/u/sam)\
**Post date:** [03.Июнь.2024 02:12:58 UTC](https://meta.discourse.org/t/crawler-blocked-requires-login-on-restricted-pages/310250/2 "2024-06-03T02:12:58Z")

</div>

Откуда Google взял эти ссылки? Появляются ли эти темы в карте сайта?

---

<div class="post-metadata">

**Author:** ![Isambard](https://avatars.discourse-cdn.com/v4/letter/i/858c86/32.png) [@Isambard](https://meta.discourse.org/u/Isambard)\
**Post date:** [03.Июнь.2024 08:22:20 UTC](https://meta.discourse.org/t/crawler-blocked-requires-login-on-restricted-pages/310250/3 "2024-06-03T08:22:20Z")

</div>

Хм, отличный вопрос. Я вижу, что канонический URL для тем не содержит category\_id, поэтому его нельзя легко отфильтровать. Если предположить, что его нет в картах сайта, и Google находит ссылку где-то ещё, то простого способа заблокировать его нет, если только не включить каждый отдельный URL в robots.txt, что не является разумным подходом.

---

<div class="post-metadata">

**Author:** ![system](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/system/32/443519_2.png) [@system](https://meta.discourse.org/u/system)\
**Post date:** [03.Июль.2024 08:22:31 UTC](https://meta.discourse.org/t/crawler-blocked-requires-login-on-restricted-pages/310250/4 "2024-07-03T08:22:31Z")

</div>

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.