DISCOURSE_ALLOW_INDEX_IN_ROBOTS_TXT를 false로 설정해 두었는데, 응답에 X-Robots-Tag 헤더가 전송되지 않고 있습니다.
어떤 문제가 발생할 수 있을지 아이디어가 있으신가요? 이 변경 사항과 관련이 있을 수도 있을 것 같아 확실하지 않습니다.
agmontpetit 님이 언급하신 Staging 사이트에서 해당 문제를 조사해 보았더니, 어떤 방식으로든 우리 커스텀 플러그인 때문인 것 같습니다. 더 자세히 조사해 보겠습니다.
결국 이 문제는 check_xhr 필터를 건너뛰지 않는 액션에 대한 게스트의 GET HTML 요청에서 발생하는 것으로 확인되었습니다. 다만 표준 Discourse에서는 해당 액션을 찾을 수 없어, 아마도 일부 플러그인 개발자만 이 문제를 겪고 있을 것입니다. 저희의 경우 게스트를 위한 xhr 기반 콘텐츠가 포함된 커스텀 페이지를 추가한 이후에 이 문제가 발생하기 시작했고, 해당 페이지에 프리로딩을 추가했을 때(이는 check_xhr를 건너뛰어야 함) 문제가 사라졌습니다.
이 까다로운 문제는 add_noindex_header를 check_xhr보다 먼저 실행함으로써 매우 간단히 수정할 수 있습니다.