Профили пользователей / Каталог пользователей в robots.txt / заголовке x-robots-tag

Внести вклад Ошибка
1

ИСПРАВЛЕНИЕ: оказывается, это баг, см. пост #3

Если включена опция «Скрыть профили пользователей от публичного доступа», не должно ли /u быть запрещено в robots.txt?
Иначе поисковые системы будут получать ошибку 403, что может повлиять на ранжирование и видимость.

Это, как утверждается, было реализовано в 2014 году: Excluding user profiles in robots.txt (or allow edit of file) - #2 by neil Disallow /users/ in robots.txt · discourse/discourse@8267a45 · GitHub

Единственный форум Discourse, который я смог найти с Disallow: /u — это Meta :thinking:

1 лайк
2

Возможно, Meta была настроена так, что миграция из FIX: Remove /u/ from robots by nattsw · Pull Request #30782 · discourse/discourse · GitHub была пропущена

3

Отличное наблюдение, @Moin

В настоящее время мы уже добавляем noindex к маршрутам /u. Однако из-за блокировки в robots.txt поисковые системы не могут увидеть этот заголовок.

Значит, мы отсылаемся к предыдущему изменению FIX: Always noindex /u routes - Pull Request #27712 - discourse/discourse - GitHub

которое говорит

Во-вторых, SiteSetting.hide_user_profiles_from_public вызывает Forbidden, что не позволяет сработать нашему after_action: add no index header.

Этот PR гарантирует, что заголовок noindex добавляется через before_action. Возможно, стоит рассмотреть возможность удаления /u из

discourse/app/controllers/robots_txt_controller.rb

Строка 24 в 2900cbe

DISALLOWED_WITH_HEADER_PATHS = %w[/badges /u/ /my /search /tag//l /g /t//.rss /c/.rss]

К сожалению, это работает не всегда. Хотя /u/rgj имеет заголовок x-robots-tag: noindex, /u/rgj/summary его не имеет, так что похоже, что последнее изменение имеет нежелательные побочные эффекты.

(Переношу в Contribute > Bug)

1 лайк