이 문제가 사이트맵이나 클라우드 호스팅과 관련이 있는지 확실하지 않습니다. Meta는 AWS에 호스팅되어 있으며, 이는 다른 많은 고객들을 호스팅하는 곳과 완전히 다른 환경입니다. 최근 Meta에서 매우 불균형한 결과를 보이기 시작했으며, 다양한 호스팅 옵션을 사용하는 여러 사이트에서도 비슷한 현상이 관찰되고 있습니다.
문제를 해결하기 위해 몇 가지 설정을 조정해 보고 있습니다.
- 이제
.rss링크를 더 이상 추적하지 않습니다. 이렇게 하면 동일한 canonical을 공유하는 토픽의/1,/2등 변형 페이지를 Google이 스캔하는 것을 방지할 수 있습니다. - Google이 RSS 피드를 가져가는 경우를 대비해,
.rss피드 내부의 링크를 추적하지 않도록 명시적으로 지시하고 있습니다. - 앞서 시행했던 몇 가지 canonical 조정을 일시적으로 비활성화했습니다. 이 조정은 좋은 결과를 보여줄 것으로 기대되었습니다: Search engines now blocked from indexing non-canonical pages
Meta에서 관찰되는 증상은 다음과 같습니다.
- Google은 실제로 모든 콘텐츠를 크롤링하고 있으며, 웹 로그에서 이를 확인할 수 있습니다.
- 그러나 최근 새로운 Meta 토픽의 약 50%는 크롤링되었음에도 인덱스에 표시되지 않습니다.
이것은 매우 우려스러운 상황입니다. Google은 이 문제에 대해 "왜 그런가?"에 대한 거의 아무런 가시성도 제공하지 않고 있습니다.
다음 단계로, 더 많은 데이터를 수집하고 정기적인 보고서를 작성할 예정입니다. 아마도 serpapi를 사용하여 Google에서 누락된 페이지를 파악하고 패턴을 찾아보려 합니다.