요약: 비정규(non-canonical) 페이지를 차단하지 마세요. <link rel="canonical" … > 태그를 사용하여 올바른 URL로 유도하는 것만으로 충분합니다. 이 태그가 바로 그 용도로 만들어졌습니다.
이 기능은 장기적으로 SEO 링크 빌딩에 해를 끼칠 수 있습니다:
이제 모든 토픽 내 답변에 대한 딥링크(deep-link)가 noindex 페이지에 있습니다! 구글은 이런 방식을 좋아할까요?
사실 canonical 태그가 항상 토픽 URL을 가리키도록 설정되어 있다면(답변에 딥링크하는 페이지의 경우에도) – X-Robots-Tag: noindex를 추가하지 않고도 – 이 역할을 완벽하게 수행할 수 있습니다:
딥링크된 답변 페이지를 처음 크롤링할 때 구글은 해당 페이지 URL(토픽 내 답변)이 canonical-url과 일치하지 않음을 인식하고, canonical-url(토픽)만 크롤링하도록 결정합니다.
이 토픽-답변 딥링크를 수행하는 모든 링크에 수정: 아니요, Search engines now blocked from indexing non-canonical pages - #9 by j127 참고<a rel="nofollow" …>를 추가할 수 있을까요?
이렇게 하면 검색 엔진의 귀하고 제한된 크롤 버짓을 더 절약할 수 있습니다:
검색 엔진은 링크를 처음부터 추출하지도 않고 해당 URL에 호출을 보내지도 않습니다. URL 호출은 X-Robots-Tag: noindex HTTP 헤더를 포함하는 응답을 반환하므로, 검색 엔진의 내부 ‘noindex’ 목록에 URL을 추가하여 응답이 '폐기’되기 때문입니다.
RSS 피드 URL에 nofollow를 추가하여 크롤 버짓을 더 절약할 수 있습니다: