Google 크롤링이 이렇게 느려야 하나요?

한 달 전쯤 Discourse로 이전하고 도메인을 변경했습니다. 사이트맵에는 2만 개 이상의 URL이 포함되어 있지만, 지금까지 인덱싱된 것은 900개 미만입니다?

SEO에 대한 경험이 거의 없는 저로서는 이 상황이 걱정됩니다. 지금까지 약 35만 페이지뷰를 기록했으니 트래픽 자체는 잘 들어오고 있지만, 검색 엔진에서 유입되는 트래픽은 거의 없습니다. 당연히 새로운 사람들이 사이트를 찾지 못하면 커뮤니티가 회원만 잃어가는 방향으로 흐를 수 있다는 점이 우려됩니다.

여기에 사이트맵 목록을 첨부합니다. 온라인에서 ‘Couldn’t fetch’ 오류는 실제로는 문제가 없으며 처리 대기 상태라는 것을 읽었습니다. 며칠 전 사이트맵을 다시 업로드한 시도를 확인할 수 있습니다.

어쨌든 지금 상황이 ‘정상적인’ 범위인지 관점을 얻고 싶습니다. 이 시점에서 걱정해야 합니까?

2개의 좋아요

도메인 전환을 어떻게 처리하셨나요?

기존 FQDN에서 새 FQDN으로 트래픽을 리다이렉트하는 것이 있나요?

2개의 좋아요

새 도메인에서 동일한 콘텐츠로 올바른 301 리다이렉트가 설정되어 있지 않거나, 구글 검색 콘솔에서 구 도메인에서 새 도메인으로의 마이그레이션을 알리지 않았다면 이는 꽤 정상적인 현상입니다. 하지만 리다이렉트가 올바르게 설정되어 있고 마이그레이션도 알렸다면 이는 정상적이지 않습니다.

대부분의 경우 그 이유는 첫 번째에 해당하며, 단순히 일반적인 리다이렉트만 있거나 리다이렉트가 전혀 없는 경우가 많습니다. 그러면 구글봇은 해당 사이트를 완전히 새로운 사이트로 인식합니다 — 실제로도 그렇기 때문입니다.

다만, 구글봇이 마이그레이션만으로 활동량이 증가하는 것은 아닙니다. 이 점도 기억해 두시기 바랍니다. 새롭고 신선한 콘텐츠가 추가되면 일부 부스터 효과를 얻을 수는 있습니다.

이 정도 트래픽을 보유하고 있는데도 왜 이렇게 낮은 수치를 보이는지 궁금합니다.

1개의 좋아요

신속한 답변 감사합니다 @Stephen, @Jagster.

마이그레이션이 proboards에서 이루어졌기 때문에 불행히도 리디렉션은 없습니다. 앞서 언급했듯이 구글의 관점에서는 사실상 새로운 사이트입니다. 콘텐츠의 경우, 마이그레이션 이후 약 160개의 새 주제와 4,000개의 게시물이 추가되었는데, 이것이 충분히 유의미한 수준으로 간주되는지 확실하지 않습니다.

1개의 좋아요

네, 구글은 여러분의 사이트를 완전히 새로운 사이트로 취급하고 있습니다.

크롤러는 사이트의 인지된 검색 가치에 따라 자원을 배분합니다. 신규 사이트는 크롤러 예산이 낮아 초기 크롤링 몇 번에 훨씬 더 오랜 시간이 걸립니다.

인덱스에 여러 가지 콘텐츠가 쌓이고, 구글이 검색 결과에서 사용자가 클릭하여 방문하는 것을 확인하면 해당 예산이 증가합니다.

인내심을 갖고 기다려 주세요!

4개의 좋아요

결국 클릭을 받아야 인덱싱이 되지만, 인덱싱이 되어야 클릭을 받을 수 있는 답답한 루프인 셈이죠 :upside_down_face:

시점을 알려주셔서 감사합니다. 적어도 우리는 올바른 방향으로 나아가고 있는 것 같습니다.

3개의 좋아요

구글 역시 크롤러 자원이 제한적이라는 점을 고려해야 합니다. 구글은 트래픽이 많은 사이트를 자주, 중간 규모의 사이트를 정기적으로, 그리고 작은 사이트는 가끔씩 크롤링하는 데 집중합니다. 사이트가 정기적으로 업데이트되지 않고 방문자도 없다면, 업데이트 여부를 다시 확인하는 것은 의미가 없습니다.

1개의 좋아요