구글이 우리 디스코urs 커뮤니티의 콘텐츠를 인덱싱하지 않는 이유가 무엇인지 확실하지 않습니다.
이 페이지를 확인해 주세요: Welcome to the Appsmith Community | Appsmith Community Portal
제목이 꽤 고유합니다. 제목을 복사해서 구글에 붙여넣으면, 첫 번째 링크가 위 URL이 되어야 한다고 생각했습니다.
하지만 실제로는 다음과 같은 결과가 나옵니다. 첫 번째 링크일 뿐만 아니라, 아예 검색 결과에 표시되지 않습니다.
제가 무엇을 잘못하고 있는 걸까요?
이러한 문제의 원인은 매우 다양할 수 있습니다.
Googlebot이 실제로 사이트를 크롤링하고 있는지 확인해 보세요. mysite.com/admin/reports/web_crawlers에서 확인할 수 있습니다.
Googlebot이 차단되거나 속도 제한(rate limit)을 받고 있는지 확인해 보세요. mysite.com/admin/site_settings/category/security?filter=crawler%20user%20agents에서 확인할 수 있습니다.
Google Search Console에 사이트를 추가했나요?
자체 호스팅(Self-hosted) 사용자는 다음 플러그인을 설치하여 도움을 받을 수도 있습니다.
사이트맵 플러그인은 비즈니스 및 엔터프라이즈 플랜에서도 사용할 수 있습니다.
아마도 아무것도 잘못하고 있지 않습니다. Google은 어떤 이유에서인지 실제 해당 제목의 주제보다 "X를 어떻게 하나요?"라는 검색어에 더 높은 우선순위를 부여하는 것 같습니다. 왜 그런지는 정확히 알 수 없습니다. 단순히 AI가 알려지지 않은 패턴을 기반으로 그 같은 결정을 내린 것일 수도 있습니다.
누도도 모르는 구글 패턴이라고도 합니다 
그렇다면 우리에게 꽤 큰 문제가 되겠네요. 조사해 보겠지만, 그러면 사실상 전체 취지가 무색해집니다. 커뮤니티의 모든 주제를 사용자가 “통과”하길 기대할 수 없기 때문이죠. 실제로는 대부분의 사용자가 커뮤니티 멤버라도 자신의 문제를 구글로 검색해 답을 찾게 됩니다.
귀하의 경우 구글에서 무슨 일이 일어나고 있는지 정확히 파악하기가 정말 어렵습니다. 편의를 위해 크롤러 통계를 좀 더 자세히 살펴봤는데, 첫인상으로는 구글 크롤러가 귀하의 커뮤니티를 매우 드물게 방문하는 것으로 보입니다. Google Search Console에서 통찰력을 얻어보셨나요? 아마도 이 문제를 해결하는 데 도움이 될 만한 정보가 있을 수 있습니다.
Meta에서 최근에 생성된 소수의 주제에서도 동일한 현상을 확인하고 있습니다. 이 문제를 우리 팀과 논의하여 우리가 할 수 있는 일이 있는지, 아니면 단순히 구글 특유의 행동인지를 파악하겠습니다. 진행 상황을 업데이트해 드리겠습니다.
또한, SEO에 대한 우리의 두 가지 블로그 게시물을 보셨나요?
구글의 이러한 행동은 몇 달 전부터 시작되었고, 안타깝게도 점점 더 악화되고 있습니다.
제 경우에는 사이트맵이 도움이 되지 않았습니다 …
네, 제가 가장 먼저 질문할 내용입니다.
음… 저희 사이트가 appsmith.com이므로, appsmith.com을 GSC에 제출하면 appsmith.com의 모든 서브도메인과 서브폴더가 이상적으로 인덱싱되어야 할 텐데 맞나요?
오늘 일단 community.appsmith.com(저희 discourse 포럼)을 GSC에 추가해 두었는데, 이게 실제로 변화를 가져올지는 잘 모르겠습니다.
GSC에 서브도메인을 독립된 속성으로 추가하고, 해당 서브도메인을 위한 전용 사이트맵을 제출하는 것을 권장합니다.
네 
이건 문제가 있는 것 같습니다. 구글이 개별 게시물을 인덱싱하지 않으면 계속 진행할 수 없기 때문이죠. 커뮤니티의 근본적인 목적을 무색하게 만들거든요. 대부분의 사람들이 카테고리를 통해 탐색하는 대신 구글에서 콘텐츠를 발견하니까요 — 기존 사용자들도 마찬가지입니다.
이 문제는 우리 Discourse에만 있는 게 아니라, 이 포럼(meta.discourse.org)에서도 같은 현상이 일어나고 있습니다.
이를 보여주기 위해 이 게시물의 제목을 구글에서 검색했는데, 이런 결과가 나왔습니다:
결국 Discourse 커뮤니티를 지식 베이스로 사용하는 분들(물론 많은 기업들이 그렇게 하고 있습니다)에게는 이것이 큰 문제가 됩니다.
위에 공유된 SEO 관련 블로그 2편의 지침을 거의 모두 따랐고, 우리 콘텐츠도 풍부하고 상세하며 기술적인 깊이가 있습니다. 그런데도 사람들이 검색하면 결과가 나오지 않습니다.
그래서 진심으로 묻습니다. 우리의 사용 사례(지원 문의를 통해 지식 베이스를 구축하고, 이를 SEO에도 활용하는 것)와 현재 직면한 문제를 고려할 때, 대안을 찾아볼 계획을 세우는 것을 추천하시나요?
다음은 Google에서 가져온 발췌문입니다.
Google에 의한 콘텐츠 인덱싱은 시스템 알고리즘에 의해 결정되며, 이 알고리즘은 사용자 수요와 품질 검사를 고려합니다.
또한, no follow 링크가 비활성화되는 것은 TL3 이상 사용자만 해당된다는 점을 기억하세요.
다음은 참고할 만한 내용입니다.
즉, 제 게시글은 다른 사람의 게시글보다 더 많은 "가중치"를 가집니다.
죄송합니다, 맞습니다 
@constantine 구글이 서브도메인 https://docs.appsmith.com의 페이지를 https://community.appsmith.com의 페이지보다 더 선호하는 것으로 보입니다.
대부분의 검색 결과가 docs.appsmith.com에서 나옵니다.
추측이지만: 구글이 한 서브도메인을 다른 서브도메인보다 선호하는 것은 “Core Web Vitals” Largest Contentful Paint (LCP)에 영향을 받을 수 있습니다.
https://pagespeed.web.dev/의 시뮬레이션 보고서는 Discourse로 인해 "오작동"하고 있습니다. 도메인에 대해 Google Search Console 보고서의 “Experience” → “Core Web Vitals” 항목을 확인해 보시는 것이 좋습니다.
여러분께 업데이트를 하나 드립니다. 저희가 Discourse를 자체 호스팅으로 전환하고 사이트맵을 검색 콘솔에 제출한 후, 이제 구글에 콘텐츠가 인덱싱되고 있습니다. 아마 클라우드 호스팅 버전에서 문제가 있는 것 같습니다.
이 문제가 사이트맵이나 클라우드 호스팅과 관련이 있는지 확실하지 않습니다. Meta는 AWS에 호스팅되어 있으며, 이는 다른 많은 고객들을 호스팅하는 곳과 완전히 다른 환경입니다. 최근 Meta에서 매우 불균형한 결과를 보이기 시작했으며, 다양한 호스팅 옵션을 사용하는 여러 사이트에서도 비슷한 현상이 관찰되고 있습니다.
문제를 해결하기 위해 몇 가지 설정을 조정해 보고 있습니다.
.rss 링크를 더 이상 추적하지 않습니다. 이렇게 하면 동일한 canonical을 공유하는 토픽의 /1, /2 등 변형 페이지를 Google이 스캔하는 것을 방지할 수 있습니다..rss 피드 내부의 링크를 추적하지 않도록 명시적으로 지시하고 있습니다.Meta에서 관찰되는 증상은 다음과 같습니다.
이것은 매우 우려스러운 상황입니다. Google은 이 문제에 대해 "왜 그런가?"에 대한 거의 아무런 가시성도 제공하지 않고 있습니다.
다음 단계로, 더 많은 데이터를 수집하고 정기적인 보고서를 작성할 예정입니다. 아마도 serpapi를 사용하여 Google에서 누락된 페이지를 파악하고 패턴을 찾아보려 합니다.
Meta, 즉 여기의 운영진(OPS)이 Google이 원하는 방식대로 "왜"를 사용하지 않기 때문일까요? 몇 가지 실험을 해본 결과, 컨텍스트가 동일하더라도 문장을 달리하면 검색 결과가 달라지는 것을 확인했습니다. 이는 예상된 결과입니다.
그리고… 개인 검색 기록은 방대하며, 반드시 좋은 것만은 아닙니다. 저는 여기서 검색을 수행하지 Google을 통해 검색하지 않기 때문에, 제 검색 결과는 Meta가 아닌 다른 곳으로 향하는 경우가 꽤 많습니다.
네. 여전히 Discourse는 Google과의 일부 문제를 겪고 있을 수 있으며, 이는 Google이 일반 웹사이트와 포럼을 다르게 취급하는 "포럼 상태"에서 비롯되었을 수도 있고, 아닐 수도 있습니다. 아니면 기술적인 문제가 있는 것일 수도 있는데, 그런 경우는 꽤 드뭅니다.
저도 같은 조치를 취했는데, 처음에는 개선되는 기미가 보이다가 이내 다시 무시당하기 시작했습니다.
지금 두 달째, 사이트맵에 포함된 새 스레드조차 인덱싱되지 않고 있습니다. 이 상황이 몇 달째 지속되고 있으며, 이로 인해 상당한 조회수를 잃었습니다.
이것을 한 달간 시도해 보려 합니다. 만약 개선되지 않으면 소프트웨어를 변경할 것입니다 
“누락된” 페이지를 확인하려면 Google Search Console의 “Index” → “Coverage” 보고서를 확인하세요. 이는 "왜 그런지"보다는 "무슨 일이 일어나고 있는지"를 보여줄 수 있습니다.
도메인의 “Index” → "Coverage"를 엽니다.
"All submitted pages"를 선택합니다.
특히 "Excluded"를 확인합니다.
각 단계의 설명: Page indexing report - Search Console Help
Google에 대한 제 추측: “Crawled - currently not indexed” 상태에는 Google이 설정한 상한선이 있습니다 - 이 상태의 페이지가 너무 많으면 새 페이지가 Google 인덱스에 매우 느리게 진입하게 됩니다.
Google 크롤러 성능에 대해 Google Search Console의 “Settings” → “Crawl stats” 보고서를 확인하세요.
여기서 특히 "평균 응답 시간"의 타임라인과 발전 추이가 흥미롭습니다: 응답이 빠를수록 크롤링 요청이 더 많이 발생합니다.
또한 "By purpose"도 흥미롭습니다:
