Профили пользователей / Каталог пользователей в robots.txt / заголовке x-robots-tag

Внести вклад Ошибка
1

ИСПРАВЛЕНИЕ: оказывается, это баг, см. пост #3

Если включена опция «Скрыть профили пользователей от публичного доступа», не должно ли /u быть запрещено в robots.txt?
Иначе поисковые системы будут получать ошибку 403, что может повлиять на ранжирование и видимость.

Это, как утверждается, было реализовано в 2014 году: Excluding user profiles in robots.txt (or allow edit of file) - #2 by neil Disallow /users/ in robots.txt · discourse/discourse@8267a45 · GitHub

Единственный форум Discourse, который я смог найти с Disallow: /u — это Meta :thinking:

1 лайк
2

Возможно, Meta была настроена так, что миграция из FIX: Remove /u/ from robots by nattsw · Pull Request #30782 · discourse/discourse · GitHub была пропущена

3

Хорошая находка, @Moin

В настоящее время мы уже добавляем noindex к маршрутам /u. Однако из-за блокировки robots.txt поисковые системы не могут увидеть этот заголовок.

Таким образом, мы обращаемся к предыдущему изменению FIX: Always noindex /u routes by nattsw · Pull Request #27712 · discourse/discourse · GitHub

в котором сказано:

Во-вторых, SiteSetting.hide_user_profiles_from_public вызывает Forbidden, что препятствует срабатыванию нашего after_action: add no index header.

Этот PR гарантирует, что заголовок no index будет добавляться через before_action. Мы можем рассмотреть возможность удаления /u из

discourse/app/controllers/robots_txt_controller.rb

Строка 24 в 2900cbe

DISALLOWED_WITH_HEADER_PATHS = %w[/badges /u/ /my /search /tag//l /g /t//.rss /c/.rss]

К сожалению, это работает не всегда. Хотя у /u/rgj есть заголовок x-robots-tag: noindex, у /u/rgj/summary его нет, поэтому, похоже, последнее изменение имеет нежелательные побочные эффекты.

(Перемещаю в bug)

1 лайк