해당 변경 사항 이후 발생한 문제를 계속 분석하던 중, 아래 링크에 명시된 대로 롤백하기로 결정했습니다.
이 변경 사항의 목표는 구글 크롤러가 비정규(non-canonical) 토픽 링크를 스캔하는 데 크롤 버짓을 소모하는 것을 제한하는 것이었습니다.
해당 변경 사항이 적용된 후, 이 변경 사항을 더 이상 필요 없게 만드는 두 가지 수정 사항을 배포했습니다.
토픽 RSS 피드는 더 이상 추적되지 않으며, RSS 피드 내 링크도 추적되지 않습니다. 예: https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985.rss
게시글 RSS 피드에는 이제 정규(canonical) 링크가 포함됩니다. 예: https://meta.discourse.org/posts.rss
이 두 가지 변경 사항이 결합되면 크롤러가 Discourse 사이트에서 대량의 비정규 링크를 더 이상 발견하지 못하게 됩니다.
이로써 검색 버짓이 확보되고, 해당 사이트 설정이 더 이상 필수 요건이 아닙니다. 사이트 운영자는 여전히 이 설정을 실험해 볼 수 있지만, 기본적으로 비활성화되어 있습니다.