사용자 프로필 / robots.txt 또는 x-robots-tag 헤더의 사용자 디렉터리

수정: 이는 버그로 확인되었습니다. 3번 게시글을 참고하세요.

"공개로부터 사용자 프로필 숨기기"가 선택되어 있다면, robots.txt에서 /u가 허용되지 않아야 하지 않나요?
그렇지 않으면 검색 엔진이 403 오류를 받게 되어 랭킹과 가시성에 영향을 줄 수 있습니다.

이 기능은 2014년에 supposedly 구현되었다고 합니다. Excluding user profiles in robots.txt (or allow edit of file) - #2 by neil Disallow /users/ in robots.txt · discourse/discourse@8267a45 · GitHub

제가 찾을 수 있는 유일한 Disallow: /u를 가진 Discourse 포럼은 Meta입니다. :thinking:

1개의 좋아요

Meta가 커스터마이징되어 https://github.com/discourse/discourse/pull/30782의 마이그레이션이 건너뛴 것일 수 있습니다

좋은 지적입니다 @Moin

현재 /u 경로에 noindex를 이미 추가하고 있습니다. 그러나 robots.txt가 이를 차단하고 있기 때문에 검색 엔진이 해당 헤더를 볼 수 없습니다.

그러면 이전 변경 사항 FIX: Always noindex /u routes - Pull Request #27712 - discourse/discourse - GitHub 으로 연결됩니다.

해당 PR에서는 다음과 같이 설명하고 있습니다.

두 번째로, SiteSetting.hide_user_profiles_from_public이 Forbidden을 발생시켜 after_action: add no index header가 트리거되지 못합니다.

이 PR은 before_action을 통해 no index 헤더가 추가되도록 보장합니다. /u를

discourse/app/controllers/robots_txt_controller.rb

2900cbe의 24번째 줄에서 제거하는 것을 고려할 수 있습니다.

DISALLOWED_WITH_HEADER_PATHS = %w[/badges /u/ /my /search /tag//l /g /t//.rss /c/.rss]

불행히도, 이는 항상 작동하지 않습니다. /u/rgj에는 x-robots-tag: noindex 헤더가 있지만, /u/rgj/summary에는 없으므로, 가장 최근 변경 사항이 원치 않는 부작용을 일으키고 있는 것으로 보입니다.

(Contribute > Bug 로 이동)

1개의 좋아요