Google 문서에서 noindex에 대한 추가 정보:
3개의 좋아요
이 명령이 작동하지 않는 것 같습니다. 오늘 테스트를 위해 더 작은 Discourse 사이트를 업데이트하고 명령을 실행했지만, 여전히 noindex 헤더가 보입니다.
수정: 이 설정이 어떻게 작동하는지 정확히 모르겠지만, SiteSettings에서 해당 설정을 찾지 못했습니다. 적어도 브라우저 콘솔에서 프론트엔드(관리자)로는 보이지 않습니다:
var d = Discourse.SiteSettings;
document.body.innerHTML = `<pre>${JSON.stringify(d, null, 4)}</pre>`;
해당 설정은 noindex가 아니라 robots.txt를 위한 것인 것 같습니다. 대부분의 Discourse 사이트에서는 이미 true가 아닐까요?
2개의 좋아요
아 죄송합니다. 올바른 것은 SiteSetting.allow_indexing_non_canonical_urls입니다. 원문에 수정했습니다.
3개의 좋아요
해당 변경 사항 이후 발생한 문제를 계속 분석하던 중, 아래 링크에 명시된 대로 롤백하기로 결정했습니다.
이 변경 사항의 목표는 구글 크롤러가 비정규(non-canonical) 토픽 링크를 스캔하는 데 크롤 버짓을 소모하는 것을 제한하는 것이었습니다.
해당 변경 사항이 적용된 후, 이 변경 사항을 더 이상 필요 없게 만드는 두 가지 수정 사항을 배포했습니다.
-
토픽 RSS 피드는 더 이상 추적되지 않으며, RSS 피드 내 링크도 추적되지 않습니다. 예:
https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985.rss -
게시글 RSS 피드에는 이제 정규(canonical) 링크가 포함됩니다. 예:
https://meta.discourse.org/posts.rss
이 두 가지 변경 사항이 결합되면 크롤러가 Discourse 사이트에서 대량의 비정규 링크를 더 이상 발견하지 못하게 됩니다.
이로써 검색 버짓이 확보되고, 해당 사이트 설정이 더 이상 필수 요건이 아닙니다. 사이트 운영자는 여전히 이 설정을 실험해 볼 수 있지만, 기본적으로 비활성화되어 있습니다.
13개의 좋아요