SEO - 페이지가 크롤링되었지만 인덱싱되지 않음

안녕하세요,

저는 대표적인 오픈소스 프로젝트인 Keycloak의 Discourse 그룹 커뮤니티 유지보수 담당자입니다. 지난 1월부터 Discourse 사이트가 Google 검색 결과에 표시되지 않는 것을 확인했습니다. Bing 및 기타 검색 엔진에서는 여전히 검색됩니다.

Google이 콘텐츠의 가치를 인정하지 않거나 크롤링은 하되 인덱싱하지 않는 이유에 대해 통찰력이나 경험이 있으신 분이 계신가요? Google 웹마스터 도구에서 표시되는 오류는 “Crawled - currently not indexed”입니다. 라이브 URL을 테스트해 본 결과 모든 것이 정상인 것으로 확인됩니다.

이미 Discourse 지원팀에 문의했으며, 그들 역시 원인을 파악하지 못하고 있습니다. 포럼에 전문가가 있을 수 있으니, 도움을 줄 수 있는 커뮤니티 게시글을 작성해 달라고 제안했습니다.

사이트: https://keycloak.discourse.group/

사이트맵은 올바르게 설정되어 있습니다.

일부 추가 항목 (Discourse의 신규 회원 제한으로 인해 제한됨)

사이트맵

과거에 다른 사이트들에서도 이러한 문제적인 패턴을 목격한 바 있습니다.

많은 측면에서 구글은 블랙박스이며, 신비로운 방식으로 작동합니다. 그렇더라도, 반드시 따라야 한다고 생각하는 몇 가지 일반적인 지침이 있습니다:

도메인에 대한 권위(Authority) 확보

구글은 PageRank를 기반으로 구축되었습니다. 포럼에 들어오는 인바운드 링크가 많을수록 PageRank가 높아집니다.

keycloak.discourse.group을 검색할 때, 최상위 링크는 메타(이 토픽)이지만, 2위는 다음과 같습니다:

구글이 제시하는 2번째로 권위 있는 답변은 "keycloak.discourse.group을 사용하지 마세요"입니다.

또한, 토론이 어디에서 이루어져야 하는지에 대한 '권위’도 없습니다:

  • GitHub도 괜찮습니다
  • Slack도 괜찮습니다
  • 메일링 리스트도 괜찮습니다
  • Discourse도 괜찮습니다

대신, 비동기(async) 토론을 위해 하나의 플랫폼에 집중하세요. 현재 (전체 규모에 비해) 비교적 적은 양의 토론을 위해 3가지 옵션을 두고 있습니다.

메일링 리스트는 월 20~30개의 게시물을 받고 있습니다.
Discourse는 그보다 조금 더 많은 양을 받고 있습니다.
GitHub는 Discourse와 유사한 트래픽을 보이고 있습니다.

승자를 선택하고 그 방향으로 나아가세요. 이것이 권위를 확립하는 방법입니다.

기존 권위를 활용하는 방향으로 기울이기

도메인을 선택할 때, 이미 기존 https://www.keycloak.org/ 브랜드에 대해 권위를 가지고 있습니다.

커뮤니티를 설계할 때, 온라인 브랜드를 성장시키는 쪽으로 우선순위를 두어야 합니다.

community.keycloak.org 또는 forum.keycloak.org가 원하는 방향입니다. Reddit, GitHub, 심지어 discourse.group도 아닙니다.

또한, 모든 페이지에서 이 포럼/비동기 커뮤니티 포털로 연결되는 링크를 푸터에 포함시키세요.

상세한 답변을 주셔서 감사합니다, 샘. 중앙 집중화 부분은 충분히 이해합니다. 하지만 사실, 그 안에는 역사적으로 가치가 높은 정보가 많이 있으며, 이전되기 전까지는 매우 유용합니다. 메일링 리스트의 트래픽은 확실히 줄었지만, 여전히 사용되고 있습니다. 슬랙은 상호작용에는 좋지만, 답변에 SEO 효과를 주지는 못합니다.