검색 엔진과 봇이 Discourse에서 카테고리 내 주제를 인덱싱할 수 있다는 것은 사실입니다. Google, Bing, Yandex 등이 특정 카테고리의 주제를 인덱싱하는 것을 차단하는 방법은 무엇인가요?
Discourse 전문가들의 도움을 기대합니다.
카테고리 권한을 TL0으로 변경하면 로그인한 사용자만 해당 카테고리를 볼 수 있으며, 봇도 차단됩니다.
그 Don이 제안한 방법이 효과가 있다면 사용하세요. 그것이 100% 확실한 유일한 방법입니다. 하지만 해당 포럼을 일반 방문자에게 개방해야 한다면 TL0을 사용할 수 없습니다. User-agent: * Disallow: / 또는 유사한 메타 태그를 사용할 수는 있지만, 때로는 이를 따르고 때로는 따르지 않는 경우가 있습니다. 누군가 Gmail을 통해 링크를 공유하면 robots.txt나 메타 태그에 무엇이든 적혀 있든 Google은 이를 인덱싱합니다.
그리고 이러한 트릭은 봇이 해당 지시를 따를 때만 효과적입니다. 대부분의 SEO 크롤러는 이를 따르지 않습니다. 또한 무언가를 시도하는 수많은 무법 봇과 스크립트 키디들이 존재합니다.
따라서 무엇을 해야 하는지는 어떤 수준의 프라이버시를 원하느냐에 따라 달라집니다.