수동으로 처리하는 것 외에, robots.txt를 설정하여 WP-Discourse에 연결된 모든 포럼 스레드를 차단할 수 있나요?
(포럼 게시물이 인덱싱되지 않도록 하기 위함입니다)
크롤링을 차단할 수 있는 간단한 토글 옵션은 없나요? 아니면 WP-Discourse 포럼 스레드와 연결된 WP 게시물을 게시하거나 편집할 때 게시물별 토글 설정은 어떻게 되나요?
왜 그렇게 하려고 하시나요? 포럼 게시물에는 WP 사이트의 정본(canonical) 버전으로의 포인터가 포함되어 있을 것이라고 꽤 확신합니다.
WP의 기원(원본)이 추가된 이후 순위/평판이 하락했습니다. 논쟁을 시작하거나 불만을 제기하려는 것이 아니라, 이 기능을 어떻게 구현할 수 있는지 문의드린 것입니다. 색인 대상에 대해 이 수준의 제어권을 원할 수 있는 다른 이유들도 많을 것이라고 생각합니다.
단순히 제안하는 것이지만, 잘못된 방향으로 가고 있으니 목표를 다시 정의해 보는 것이 좋을 것 같습니다.
하지만 리버스 프록시를 사용하면 꽤 간단한 작업입니다.
모든 웹 크롤러가 robots.txt 파일을 준수하지는 않습니다.
안녕하세요 @haydenjames,
WP Discourse 플러그인에서는 Discourse에 생성된 게시물을 robots.txt 파일에 추가할 수 있는 기능이 없습니다. 이는 사실 순수한 Discourse 관련 질문으로, “임베드된 토픽을 자동으로 noindex 처리할 수 있습니까?”(또는 이와 유사한 내용)입니다. WordPress에서 임베드된 토픽은 기능적으로 다른 임베드 토픽과 동일합니다. 탐색해야 할 방향은 embed set canonical url 사이트 설정의 출처와 관련된 논의들입니다.
(수정해 주시면 감사하겠습니다만) 원하시는 기능이 현재 Discourse의 기능은 아닌 것 같습니다. Discourse는 현재 숨겨진 토픽에 대한 GET 요청에 X-Robots-Tag: noindex 헤더를 추가합니다. 플러그인을 통해 임베드된 토픽에도 동일한 작업을 수행할 수 있습니다.
중복된 게시물이 포함된 포럼 스레드의 인덱싱을 차단하기 위해 잘못된 방향으로 헤딩하고 있는 건가요? 구글 검색 사용자들이 WP 블로그를 통해 저의 게시물을 찾길 원하기 때문입니다. 저는 그 점은 괜찮습니다. 제게 WP-Discourse의 가장 큰 장점은 Disqus나 WP의 매우 제한적인 기본 댓글 기능 같은 솔루션을 사용하지 않고도 블로그 게시물에 대한 토론을 할 수 있게 해준 것이었습니다. 이미 존재하는 콘텐츠와 연결되지 않은 다른 고유한 스레드인 경우를 제외하고는 포럼에서 SEO상의 이점을 원하지 않습니다.
무언가를 변경하지 않았다면 중복된 항목은 없습니다.
그 이유는:
그리고:
@angus 감사합니다.
확인차 여쭤봅니다. WP-discourse와 연결된 게시물이 저장된 카테고리를 숨김으로 설정하면(숨김과 비공개는 다른 개념인가요?) 포럼/공개/크롤러에서는 게시물이 숨겨지되, 각 Wordpress 블로그 게시물 하단에 삽입된 댓글은 여전히 표시되는 것이 맞나요?
신입자의 질문이라 죄송합니다. Discourse에 익숙하지 않아서 답변을 오해하고 있지는 않은지 확인하고 싶었습니다.
…중복에 대한 정의에 따라 달라집니다. Canonical은 이미 적용되어 있지만, 제 개인적인 관점에서는 블로그 게시물과 포럼 스레드 모두 동일한 텍스트(중복)를 포함하고 있기 때문에 해당 스레드를 아예 차단하는 것이 좋습니다. 이는 제 개인적인 선호일 뿐입니다. 아마도 미래에는 이 주제의 배경이 더 명확해질 수 있겠지만, 지금은 논쟁을挑起하려는 의도는 전혀 없습니다. 제 경우에는 차단이 더 절대적인 해결책이라고 생각합니다.
자동차 정비소에 가서 "오일을 두 번 교체해 달라"고 요청하는 것과 비슷합니다. @angus님의 초기 "왜?"라는 질문은 이해하지만, 결국 그것은 그것이 어떻게든 가능한지, 아니면 불가능한지에 대한 문제일 뿐입니다.
수정: 다시 생각해보니, 그러면 robots.txt에 블로그 게시물 포럼 카테고리를 추가하면 되는 거죠? 아니면 그 설정이 덮어쓰기되나요? (Discourse의 robots.txt 작동 방식/편집 방법에 대해 포럼을 검색해 보겠습니다.)
다음과 같은 형태로 말입니다:
forum.domain.com/c/blog-articles/xx/*
“숨김” 주제는 주제 목록에 표시되지 않는 주제를 의미하며, 즉 일반적인 방식으로 “발견”할 수 없습니다. 눈금선이 그어진 눈 아이콘으로 숨김 주제임을 구별할 수 있습니다.
사실 WP Discourse 플러그인에서 게시글을 자동으로 “숨김”으로 만드는 방법이 있습니다 
“Unlisted Topics로 게시” 설정을 사용할 수 있습니다.
위에서 말한 내용과 해당 설정 옆에 적힌 내용을 모두 유의하세요. 이 설정을 적용하면 Discourse에서 Wordpress로 게시된 주제가 포럼의 주제 목록에 나타나지 않게 됩니다. 댓글은 정상적으로 작동합니다. 댓글 데이터 동기화 웹훅이 활성화되어 있다면, 첫 번째 댓글이 달린 후부터 더 이상 주제가 숨겨지지 않습니다. 이 기능은 정확히 이 용도를 위해 설계된 것이 아닙니다. 더 자세한 내용은 아래를 참조하세요.
숨김 처리와 관련된 이러한 문제를 신경 쓰지 않고 단순히 내장된 주제에 X-Robots-Tag: noindex 헤더만 추가하려면, Discourse 자체의 새로운 기능으로 요청하거나 플러그인을 통해 추가해야 합니다.
정말 좋네요. 설명해 주시고 WP Discourse 설정을 공유해 주셔서 감사합니다.
질문이 있습니다: Discourse의 robots.txt 파일을 수동으로 수정하면 변경 사항이 영구적으로 유지될까요?
아직 포럼에서 해당 답변을 찾고 있는 중입니다. 찾으면 관련 링크를 여기에 추가하겠습니다.
@haydenjames 마지막으로 한 가지만 더 언급하자면, 최근 내장된 토픽의 canonical URL에 문제가 있었던 것 같습니다. 최근에 이 문제를 처음 알게 되었다면 이 점을 염두에 두시기 바랍니다.
감사합니다. 아, 생각보다 간단하지 않네요. 각 스레드의 URL에 해당 카테고리가 포함되어 있지 않기 때문에, 수동으로 하나씩 추가해야 합니다.
확인했습니다. 감사합니다. 그래서 저는 robots.txt를 통해 모든 WP-Discourse 임베드 게시물을 차단하는 원스톱 방식을 선호합니다. 이런 일은 일어날 수 있습니다. 이해합니다.
제 정의든, 당신의 정의든 무의미합니다. 구글의 정의만이 중요합니다. 그리고 그렇게 되면 중복은 존재하지 않습니다.
구글이 워드프레스보다 포럼을 더 높게 평가할 가능성도 있습니다. 그렇다면 해결책은 인덱싱을 차단하는 것이 아니라, 그 원인을 수정하는 것입니다.
rel=canonical 태그는 게시물을 다시 게시할 때 중복 콘텐츠 패널티를 피하는 데 도움이 될 수 있지만, 태그를 잘못 사용하면 여전히 패널티를 받을 수 있습니다. 해결책을 찾아보겠습니다. 나중에 이 스레드를 다시 올릴 예정입니다.