안녕하세요,
저는 Discourse 포럼(forum.evteam.pl)을 운영하고 있으며, Google에 페이지가 인덱싱되지 않는 문제로 고생하고 있습니다. 일부 페이지는 인덱싱되었지만, 사이트맵을 제출했음에도 불구하고 대부분의 페이지는 아직 인덱싱되지 않은 상태입니다.
현재 상황은 다음과 같습니다:
180개 이상의 페이지 중 단 8개만 인덱싱 되었습니다.인덱싱된 페이지 수가 잠시 증가했다가 다시 감소했습니다.
Google Search Console에서 172개 페이지가 비인덱싱(non-indexed) 상태 로 표시되고 있습니다.사이트맵이 오랫동안 승인되지 않고 있습니다. 검색 성능이 매우 낮으며, Google에서 유입되는 클릭 수가 거의 없습니다.
다음 항목들을 확인했습니다:Robots.txt – 눈에 띄는 제한 사항 없음.Sitemap.xml – 제출했으나 여전히 승인되지 않음.Noindex 태그 – 주요 페이지에 존재하지 않음.Google Search Console – 수동 조치(제재) 또는 보안 문제 없음.
혹시 Discourse 포럼에서 비슷한 문제를 겪어 보신 분 계신가요? Google의 인덱싱 정책 때문일까요, 아니면 제가 놓치고 있는 부분이 있을까요? 이 문제를 해결하는 데 도움이 될 팁이 있다면 알려 주시겠습니까?
미리 감사드립니다!
nat
3월 31, 2025, 8:59오전
3
확인해 주실 수 있을까요?
<yoursite>/admin/reports/web_crawlers에 Googlebot이 목록에 있는지 확인해 주세요.
사이트 설정의 allowed_crawler_user_agents를 확인하여 Google을 우연히 차단하고 있지 않은지 점검해 주세요 (가능하다면 여기에 공유해 주세요).
Discourse SEO overview (sitemap / robots.txt) 주제가 유용할 수 있습니다.
제안해 주셔서 감사합니다!
/admin/reports/web_crawlers 를 확인해 보니 Googlebot이 목록에 포함되어 있어 포럼을 크롤링하고 있음을 확인했습니다.allowed_crawler_user_agents 목록이 비어 있었으므로, 다음과 같이 추가했습니다:
Googlebot
bingbot
DuckDuckBot
또한 Google Search Console에서 사이트맵을 다시 제출했으며, 향후 며칠간 색인 처리가 개선되는지 모니터링할 예정입니다.
Jagster
3월 31, 2025, 1:51오후
5
이는 잠재적으로 나쁜 아이디어일 수 있습니다. 다른 모든 봇이 차단될 수 있다는 것이 완전히 확실하지 않는 한요. 구글은 googlebot 문자열을 선언하지 않는 크롤러를 많이 사용합니다.
그 점을 짚어주셔서 감사합니다! Google이 Googlebot을 명시적으로 선언하지 않는 다른 크롤러를 사용한다는 사실을 몰랐습니다.
실수로 무언가를 차단하는 일이 없도록 allowed_crawler_user_agents 목록을 비울
Robots.txt – 눈에 띄는 제한 사항 없음.