사이트를 Google에 인덱싱했는데 “No: ‘noindex’ detected in ‘X-Robots-Tag’” 오류가 발생합니다. 이 헤더 태그를 어떻게 제거하나요?

안녕하세요 여러분
사이트를 Google에 인덱싱했는데 "No: ‘noindex’ detected in ‘X-Robots-Tag’"라는 오류가 발생합니다.
이 헤더 태그를 제거하는 방법은 무엇인가요?

@Younes_Dev 님, 안녕하세요. 사이트의 allow index in robots txt 설정값을 확인해 주시겠어요?

해당 설정은 기본적으로 활성화되어 있습니다. 사이트에서 이 설정이 활성화되어 있고 여전히 오류가 발생한다면, 현재 사용 중인 Discourse 버전이 무엇인가요? 2.9 이전의 일부 Discourse 버전에서 이와 관련된 문제가 있었으나, 이후 버전에서 수정되었습니다: Search engines now blocked from indexing non-canonical pages.

여러분 안녕하세요,

Discourse 포럼(https://nhasg.com.vn/g/Sitetor)의 특정 페이지를 Google에 인덱싱하는 데 어려움을 겪고 있습니다. Google Search Console에서 “noindex” 오류가 보고되어 해당 페이지가 인덱싱에서 차단되고 있다고 합니다.

지금까지 시도해 본 내용은 다음과 같습니다.

  • robots.txt 수정: 초기 robots.txt 파일에는 /g 하위의 모든 URL을 차단하는 Disallow: /g가 포함되어 있었습니다. 이를 Allow: /g/Sitetor와 Disallow: /g/*로 수정하여 해당 디렉토리의 다른 페이지는 차단하면서 특정 페이지의 인덱싱만 허용했습니다.

하지만 이러한 변경 사항과 Google Search Console에서 URL을 제출한 후에도 여전히 페이지가 인덱싱되지 않습니다. Google의 robots.txt 테스트기로 robots.txt를 다시 확인해 보았는데, 설정은 올바르게 되어 있는 것으로 보입니다.

정말 난감합니다! Google이 “noindex” 지시문을 보고 있는 다른 이유가 있을까요? 도움을 주시면 감사하겠습니다.

미리 감사드립니다!

Disallow가 Allow를 덮어쓴다고 생각합니다.

왜 일부 페이지만(예시 하나) Google Search Console에서 No: 'noindex' detected in 'X-Robots-Tag' http header 오류를 보고하고 있나요?

검색/인덱싱 설정에서 Googlebot을 차단했다면, 모든 페이지에서 ‘No Access’ 오류가 발생해야 합니다. 왜 일부 페이지에서만 위와 같은 오류가 반환되나요?