# 검색 엔진이 비정규 페이지의 인덱싱을 차단하기 시작
**URL:** https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985
**Category:** Announcements
**Tags:** seo
**Created:** [2월 21, 2022, 7:35오후 UTC](https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985 "2022-02-21T19:35:37Z")
**Posts on this page:** 4
**Page:** 2
Google 문서에서 `noindex`에 대한 추가 정보:
* * *
[Crawl Budget Management | Google Crawling Infrastructure | Crawling infrastructure | Google for Developers](https://developers.google.com/search/docs/advanced/crawling/large-site-managing-crawl-budget?hl=en#best_practices) 를 참조하세요.
> [@](#):
>
> - **[중복 콘텐츠 통합](https://developers.google.com/search/docs/advanced/crawling/consolidate-duplicate-urls).** 중복된 URL 대신 고유한 콘텐츠에 크롤링을 집중하기 위해 중복 콘텐츠를 제거하세요.
> - [**색인화하지 않으려는 URL의 크롤링을 차단하세요.**](https://developers.google.com/search/docs/advanced/crawling/large-site-managing-crawl-budget?hl=en#hide_urls) 일부 페이지는 사용자에게 중요할 수 있지만, 검색 결과에 표시되기를 원하지 않을 수 있습니다. 예를 들어, 링크된 페이지의 정보를 중복하는 무한 스크롤 페이지나 동일한 페이지의 정렬이 다른 버전 등이 있습니다. 첫 번째 항목에서 설명한 대로 통합할 수 없는 경우, 이러한 검색에 중요하지 않은 페이지를 [robots.txt](https://developers.google.com/search/docs/advanced/robots/create-robots-txt) 또는 [URL 매개변수 도구](https://support.google.com/webmasters/answer/6080548)(URL 매개변수로 도달하는 중복 콘텐츠의 경우)를 사용하여 차단하세요.
>
> ❗ **`noindex`를 사용하지 마세요.** Google은 여전히 요청을 보내지만, `noindex` 태그를 발견하면 페이지를 제외하므로 크롤링 시간이 낭비됩니다. **다른 페이지를 위해 크롤링 예산을 일시적으로 재분배하기 위해 robots.txt를 사용하지 마세요.** robots.txt는 Google이 아예 크롤링하지 않기를 원하는 페이지나 리소스를 차단하는 데 사용하세요. Google이 이미 사이트의 서빙 한도에 도달하지 않는 한, 이렇게 새로 확보된 크롤링 예산을 다른 페이지로 이동시키지 않습니다.
* * *
[How to Specify a Canonical with rel="canonical" and Other Methods | Google Search Central | Documentation | Google for Developers](https://developers.google.com/search/docs/advanced/crawling/consolidate-duplicate-urls?hl=en#define-canonical) 를 참조하세요.
> [@](#):
>
> ## 정규 페이지 지정
>
> 중복된 URL이나 유사한 페이지에 대해 정규 URL을 지정하려면 다음 방법 중 하나를 선택하세요. […]
>
> 방법 및 설명
>
> - [`rel=canonical ` 태그](https://developers.google.com/search/docs/advanced/crawling/consolidate-duplicate-urls?hl=en#rel-canonical-link-method)
> - [`rel=canonical` HTTP 헤더](https://developers.google.com/search/docs/advanced/crawling/consolidate-duplicate-urls?hl=en#rel-canonical-header-method)
>
> […]
[How to Specify a Canonical with rel="canonical" and Other Methods | Google Search Central | Documentation | Google for Developers](https://developers.google.com/search/docs/advanced/crawling/consolidate-duplicate-urls?hl=en#best-practices) 를 참조하세요.
> [@](#):
>
> 모든 정규화 방법에 대해 다음 일반적인 지침을 따르세요:
>
> - **robots.txt 파일을 정규화 목적으로 사용하지 마세요.**
> - [`noindex`](https://developers.google.com/search/docs/advanced/crawling/block-indexing)를 정규 페이지 선택을 방지하는 수단으로 사용하지 마세요. 이 지시문은 페이지를 색인에서 제외하기 위한 것이며, 정규 페이지 선택을 관리하기 위한 것이 아닙니다.
> - 사이트 내에서 링크할 때 중복 URL이 아닌 정규 URL로 링크하세요. 정규로 간주하는 URL로 일관되게 링크하면 Google이 선호하는 사항을 이해하는 데 도움이 됩니다.
>
> […]
---
> [@Falco](#):
>
> `docker exec -i app rails runner "SiteSetting.allow_index_in_robots_txt = true"`
이 명령이 작동하지 않는 것 같습니다. 오늘 테스트를 위해 더 작은 Discourse 사이트를 업데이트하고 명령을 실행했지만, 여전히 `noindex` 헤더가 보입니다.
* * *
수정: 이 설정이 어떻게 작동하는지 정확히 모르겠지만, `SiteSettings`에서 해당 설정을 찾지 못했습니다. 적어도 브라우저 콘솔에서 프론트엔드(관리자)로는 보이지 않습니다:
```javascript
var d = Discourse.SiteSettings;
document.body.innerHTML = `
${JSON.stringify(d, null, 4)}
`;
```
해당 설정은 `noindex`가 아니라 [robots.txt](https://github.com/discourse/discourse/blob/7af01d88d2a57341e65860338222e30f0221a71a/config/locales/server.en.yml#L1674)를 위한 것인 것 같습니다. 대부분의 Discourse 사이트에서는 이미 `true`가 아닐까요?
---
해당 변경 사항 이후 발생한 문제를 계속 분석하던 중, 아래 링크에 명시된 대로 롤백하기로 결정했습니다.
>
>
> We rolled out a change to disable canonical indexing.
>
> The goal behind it was to… limit crawl budget by Google being spent
> scanning non canonical topic links.
>
> Since this change was applied we rolled out 2 fixes that made the change
> no longer needed.
>
> 1. Topic RSS feeds are no longer followed, links in the RSS feeds are
> not followed.
>
> 2. Post RSS feeds now contain canonical links.
>
> Combined these two changes mean crawlers no longer discover a large
> amount on non-canonical links on Discourse sites.
이 변경 사항의 목표는 구글 크롤러가 비정규(non-canonical) 토픽 링크를 스캔하는 데 크롤 버짓을 소모하는 것을 제한하는 것이었습니다.
해당 변경 사항이 적용된 후, 이 변경 사항을 더 이상 필요 없게 만드는 두 가지 수정 사항을 배포했습니다.
1. 토픽 RSS 피드는 더 이상 추적되지 않으며, RSS 피드 내 링크도 추적되지 않습니다. 예: `https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985.rss`
2. 게시글 RSS 피드에는 이제 정규(canonical) 링크가 포함됩니다. 예: `https://meta.discourse.org/posts.rss`
이 두 가지 변경 사항이 결합되면 크롤러가 Discourse 사이트에서 대량의 비정규 링크를 더 이상 발견하지 못하게 됩니다.
이로써 검색 버짓이 확보되고, 해당 사이트 설정이 더 이상 필수 요건이 아닙니다. 사이트 운영자는 여전히 이 설정을 실험해 볼 수 있지만, 기본적으로 비활성화되어 있습니다.
[Previous page](https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985.md?page=1)