안녕하세요. 다음 링크에서 해당 논의 내용을 확인했습니다:
하지만 이 질문에 대한 명확한 답변을 찾지 못했습니다. Discourse 사이트에서 robots.txt를 활성화하여 어떤 크롤러에도 인덱싱되지 않도록 하려면 어떻게 해야 하나요? 이는 비공개 사이트와 관련된 사항이며, 검색 엔진에 노출될 이유가 전혀 없습니다. 감사합니다!
해당 토픽에서 두 번째로 마지막 답변을 확인해 보세요: Needing to edit robots.txt file - where is it? - #42 by Osama.
아, 아래에 있는 그걸 놓쳤네요. 완벽합니다. 정말 잘 작동했어요. 감사합니다!
또한, discourse.yoursite.com/wizard 에서 마법사를 다시 실행하여 login required 설정이 켜져 있는지 확인하세요. 이렇게 하면 검색 엔진도 차단됩니다.
이 사이트는 항상 로그인을 요구하며, 사용자가 직접 가입할 수 없습니다. 하지만 검색 엔진에서는 여전히 표시되고 있습니다. 로그인이 불가능했기 때문에 콘텐츠는 인덱싱되지 않은 상태입니다. robots.txt를 통해 명시적으로 차단하면 모든 언급이 중단되기를 바랍니다. 감사합니다.