조시, 피드백 감사합니다.
좋은 지적입니다. 실행 방식은 다소 미흡했고 몇 달이 걸렸지만, Google은 결국 각 페이지가 무엇을 의미하는지 파악한 것 같습니다.
즉, 시간이 지나면서 구 페이지에 사용되었던 키워드에 대해 301 리다이렉트를 설정한 페이지들이 점점 더 많이 노출되기 시작했습니다.
이것은 매우 타당하며, 어떻게 구현할지 알아보겠습니다. 현재 검색 콘솔에서는 크롤러가 301 리다이렉트에 너무 자주 도달하는 것으로 나타나지 않습니다. 순위가 좋아지면 더 많은 301을 따를 것 같습니다. 인과관계가 아닌 상관관계일 수도 있겠네요.
Discourse에 대한 비판이 전혀 아닙니다. "수천 명의 Discourse 사용자들이 훌륭한 유기적 트래픽을 얻고 있다"는 말로 쉽게 설득되지는 않습니다.
Google도 우리에게 명확히 알려주지 않을 것입니다.
Google이 알고리즘이라는 점을 항상 기억해야 합니다. 그들은 인간의 시각이 아니라 알고리즘의 시각으로 이것을 보고 있습니다.
두 버전 모두 유사한 콘텐츠를 공유하고 있으며, Google이 이것이 악의적인 클로킹이 아니라는 것을 알고 있지만, 여전히 순위를 조정해야 합니다.
한 버전은 훨씬 더 좋아 보이고, 더 잘 작동하며, 내부 링크 구조에 대한 일정한 느낌을 줍니다. 다른 버전은 화려하게 꾸며진 RSS 피드에 불과합니다.
Google은 제가 이 세련된 포럼을 가지고 있다는 사실을 전혀 모릅니다. 이 포럼은 모든 [최신] 기기에서 작동하고, 진정한 담론을 장려하며, 인터넷이 만들어낸 가장 멋진 것 중 하나입니다.
크롤러 버전에는 “Powered by discourse” do-follow 링크를 항상 사용합니다. (그냥 쉽기 때문입니다.)
다시 말하지만, 악의적이지는 않지만 Google의 시각으로 봐야 합니다. FlyNumber(https://community.cloudflare.com/ 가 아닙니다)는 일반 브라우저에는 보이지 않는 외부 링크를 포함하여 우리에게 이 크롤러 버전을 제공하고 있습니다.
알고리즘이 무슨 일이 일어나고 있는지 감지하고, Cloudflare 도메인에 대한 외부 링크를 무시할 수 있다고 충분히 상상할 수 있습니다. (Cloudflare은 그만큼 권위가 높기 때문입니다.)
Google이 Cloudflare에 적용하는 것이 나에게도 적용되는 것은 아닙니다.
누군가 일반 사용자에게는 보여주고 싶지 않지만 봇에게는 보여주는 이 외부 링크를 위해 당신에게 돈을 지불했나요? 이것은 그들이 사이트를 어떻게 볼 수 있는지에 대한 문제입니다. 이것이 그 원인이라고 말하는 것은 아니지만, 제거하고 싶은 가능성 중 하나입니다.
가장 단순한 말로, 크롤러 버전에는 메뉴나 실제 구조가 없습니다.
그것이 알고리즘이 최종 사용자에게 제공하기를 원한다고 생각하는 콘텐츠입니다.
매우 일반적인 관점에서 보면, 알고리즘이 그것을 보상한다고 보기 어렵습니다.
크롤러 버전에 대한 진정한 개편을 고려할 때가 된 것 같습니다. 최소한 메인 메뉴와 하단의 추천 주제 정도는 추가해야 합니다.
흥미로운 업데이트 Google이 제 discourse 인스턴스의 크롤링 통계 "파일 유형"에 "JSON"을 추가했습니다. "Javascript"는 별도의 "파일 유형"입니다.
이 부분을 주의 깊게 지켜볼 것이지만, 여전히 Google 도구에서 이것이 제대로 렌더링되기를 바랍니다.