# 검색 엔진이 비정규 페이지의 인덱싱을 차단하기 시작 **URL:** https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985 **Category:** Announcements **Tags:** seo **Created:** [2월 21, 2022, 7:35오후 UTC](https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985 "2022-02-21T19:35:37Z") **Posts on this page:** 1 **Showing post:** 1
### Author: ![Falco](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/falco/32/179432_2.png) [@Falco](https://meta.discourse.org/u/Falco) #### Post date: [2월 21, 2022, 7:35오후 UTC](https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985/1 "2022-02-21T19:35:37Z")
> ⚠ **중요** > > 추가 조사 후, 비정식(non-canonical) 인덱싱을 활성화한 상태로 유지하기로 결정했습니다. 자세한 내용은 다음 링크에서 확인하세요: [Search engines now blocked from indexing non-canonical pages - #30 by sam](https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985/30?u=sam) > **원래 공지사항** > > 요청된 페이지가 리소스의 정식(canonical) 페이지가 아닌 경우, Discourse는 이제 `X-Robots-Tag: noindex` 헤더로 응답합니다. > > Discourse는 주제 목록과 주제 모두에 자동 스크롤 디자인을 사용하지만, GoogleBot과 같은 검색 엔진 크롤러에게 표시되는 것은 이와 다릅니다. 검색 엔진은 각 페이지에 20개의 게시물이 포함된 페이지네이션된 주제를 인식합니다. 그러나 사용자가 자신의 게시물에서 특정 게시물을 링크할 때 `/t/title/topic_id/post_id` URL 형식을 사용하므로, 이러한 URL이 크롤러에 의해 수집되어 사이트 검색 결과에 중복된 콘텐츠가 추가되고 도메인의 귀하고 제한적인 크롤 예산을 낭비하게 됩니다. > > 이 문제를 완화하기 위해, 사용자 커뮤니티는 게시물별 URL과 같은 URL에 `X-Robots-Tag: noindex`를 추가할 것을 제안했으며, 우리는 이를 Discourse의 모든 비정식 URL로 확장하는 데 성공했습니다. 이 기능은 3개월 전 숨겨진 사이트 설정으로 출시되어 기본적으로 비활성화되었으며, 그 동안 커뮤니티 사이트와 meta.discourse.org에서 이 헤더를 활성화하는 실험을 진행했습니다. > > **이 기간의 결과가 지금까지 양호하게 나타나고 있어, 이 설정을 기본적으로 활성화되도록 변경했습니다.** > > 어떤 이유로든 인스턴스에서 이 동작을 원하지 않는 경우, 서버에서 `docker exec -i app rails runner "SiteSetting.allow_indexing_non_canonical_urls = true"`를 실행하여 비정식 페이지의 인덱싱을 활성화할 수 있습니다. > > 크롤링과 검색 결과에 즉각적인 극적인 변화는 기대하지 마십시오. 하지만 향후 몇 달 동안 게시물별 페이지의 크롤링과 검색 결과가 감소하는 것을 볼 수 있을 것이며, 이는 도메인의 크롤 예산 제약으로 인해 아직 인덱싱되지 않은 콘텐츠와 사이트의 새로운 주제에 더 많은 크롤링 시간이 사용되도록 할 것입니다. --- _[View the full topic](https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985)._