noindex 헤더 대신 canonical 링크 헤더 전송

개발
1

noindex 헤더 대신 canonical 링크 헤더를 보내세요.

noindex 헤더를 보내는 것과 마찬가지로, canonical 헤더를 보내면 크롤링 예산에 동일한 이점이 있을 가능성이 높습니다. noindex를 통해 백링크가 있을 수 있는 URL을 제외하는 것에서 오는 SEO상의 불이익은 없습니다.

참고: How to Specify a Canonical with rel="canonical" and Other Methods | Google Search Central  |  Documentation  |  Google for Developers

서버를 설정할 수 있는 경우, HTML 태그 대신 rel=“canonical” HTTP 헤더를 사용하여 검색에서 지원되는 문서(예: PDF 파일과 같은 비-HTML 문서)의 정준 URL을 지정할 수 있습니다.

  • :+1: 우리는 서버를 설정할 수 있습니다.
  • HTML 태그 대신 rel="canonical" HTTP 헤더를 사용한다는 문장은 HTTP 헤더 솔루션에 대한 선호도를 강조하는 것일까요?

#11553에서

Googlebot은 no-index 헤더를 매우 우아하게 처리합니다. 가능한 한 많은 라우트를 열어두고, 인덱싱에 관한 높은 정확도의 규칙을 위해 헤더를 사용하도록 권장합니다.

아마도 Google은 canonical 링크 헤더를 no-index 헤더와 마찬가지로 우아하게 처리할 것입니다.

2

이 문제로 고민하고 있습니다. 구글의 권장 사항을 읽어보니, 구글은 이 부분에 대해 크게 신경 쓰지 않는 것 같습니다.

rel="canonical" HTTP 헤더에 대한 권장 사항은 rel="canonical" link 태그와 동일합니다.

손해 볼 것이 별로 없고, no index와 rel canonical을 함께 사용하는 것이 구글에 대한 올바른 조합일 수도 있다고 생각합니다. 하지만 확신은 없습니다.

@Falco ?

3

이 변경 사항은 최근에 도입된 사이트 설정을 사실상 무의미한 상태(noop)로 되돌리는 것입니다. (헤더로 전송하는 헤드 태그의 위치를 이동할 뿐, 의미론적인 변화는 없습니다.)

이 변경 사항은 현재 상태로 원하지 않습니다.

4

새로운 기본값 SiteSetting.allow_indexing_non_canonical_urls = false의 경우, 현재 구현 방식은 다음과 같으며 이 방식이 유지됩니다:

  • 헤더 noindex
  • HTML 링크 태그 canonical (무시될 수 있음)

패치 없이 SiteSetting.allow_indexing_non_canonical_urls = true인 경우:

  • – 헤더 없음 –
  • HTML 링크 태그 canonical

패치를 적용하고 SiteSetting.allow_indexing_non_canonical_urls = true인 경우:

  • 헤더: Link: <https://forum.example.com/t/test-example/1234>; rel="canonical"
  • HTML 링크 태그 canonical (무시될 수 있음 - 하지만 어쨌든 헤더와 동일함)

이 아이디어의 핵심은 다음과 같습니다:
canonical을 HTTP 헤더로 설정하여 noindex HTTP 헤더와 동일한 이점, 즉 더 빠른 크롤링을 얻는 것입니다.
이로 인해 불확실한 함의를 가진 noindex가 쓸모없어질 수 있습니다.

noindex와 canonical에 대한 또 다른 관점:

  • noindex는 페이지를 검색 인덱스에 포함하지 말라는 매우 강력한 신호입니다.
    그러나 noindex가 설정되어 있어도 구글 봇은 링크를 추출하기 위해 페이지 콘텐츠를 여전히 처리합니다 (이를 비활성화하는 추가 옵션 nofollow가 있습니다).
  • canonical은 크롤링할 콘텐츠가 다른 canonical URL에 있다는 강력한 신호입니다.
    구글 봇이 이 신호를 한 페이지에 대해 수용하기로 결정하면, 페이지 콘텐츠를 전혀 처리하지 않고 canonical URL만 처리할 가능성이 큽니다.

이것은 *‘사유 실험’*입니다. 어디에도 구현되어 있지 않으며, 구현을 권장하지도 않습니다:

  • 헤더 noindex
  • HTML 메타 태그 noindex (HTML 링크 태그 canonical 대신)

– 또는 –

  • – 헤더 없음 –
  • HTML 메타 태그 noindex

이렇게 구현해야 하는 이유, 혹은 그렇게 하면 안 되는 이유는 무엇일까요?

5

이 변경사항은 *‘noop’*가 아닙니다:
Google은 처리 큐의 서로 다른 단계에서 헤더와 HTML 콘텐츠를 다르게 처리할 수 있습니다. 헤더를 통해 전송하면 추가적인 처리 큐(예: 렌더링 큐)를 건너뛸 수 있으며, 이를 통해 더 중요한 페이지에 대한 크롤 예산을 확보할 수 있습니다.

In-Depth Guide to How Google Search Works | Google Search Central  |  Documentation  |  Google for Developers 를 참조하세요.

googlebot-crawl-render-index
googlebot-crawl-render-index1374×981 38.6 KB

(제가 찾은 유일한 처리 큐 그래프: Understand JavaScript SEO Basics | Google Search Central  |  Documentation  |  Google for Developers)

6

noindex 변경 사항은 최근에 되돌려졌습니다:

이 PR을 다시 검토해 주시겠습니까:

7

이 제안에 대해 강하게 반대하는 것은 아니지만, 너무 사소한 것 같은 느낌이 듭니다. 요즘 구글은 항상 콘텐츠를 다운로드하고 있으니, HTML 파싱을 저장하는 것이 실제로 의미 있는 차이를 만들 것이라고는 생각하지 않습니다.

우선 집중해야 할 다른 영역들이 많으며, 마이크로데이터가 아마도 가장 먼저 세심한 관리가 필요한 부분이 아닐까 싶습니다.