Googlebot のフィーチャー検出を無効にするかバイパスする方法(クローラーに JS アプリを提供する際)

Discourseのクロール方法を変更するような作業、例えばprerenderを使おうとしたりしましたか?

GAのランディングページレポートを確認すると、サイトのどの部分に影響があったかについてのヒントはありますか?


メインサイトについては、John Mullerが品質の問題を示唆しているのであれば、品質に関するドキュメントを確認し、それらが適用されるかどうか自問自答してみてください。

ざっと見たところ、2019年のサイトからのリダイレクトチェーンがあり、それがGoogleのクロール可能範囲を超えている可能性があります。

突然のペナルティの候補として、2019年のサイトのURLが6回リダイレクトしていますが、Googleは「5回未満」にするように推奨しており、それ以上だとリダイレクトをたどらない可能性があります。これにより、Googleには古いページがWebから消えたように見えたのかもしれません。

例:

curl -sSL -D - http://flynumber.com/virtual-phone-number/united-states_alexandria_1-318 -o /dev/null -H 'User-Agent: header_bot'

リダイレクトはおそらく最も修正しやすいでしょう。次のようにするのではなく:

/a → /b → /c → /d → /e → /final-destination

次のようにすることをお勧めします:

/a → /final-destination
/b → /final-destination
/c → /final-destination
/d → /final-destination
/e → /final-destination

(ドアウェイページや自動同義語化もあるようですが、まずは簡単な問題を修正してみてください。それが十分な場合もあります。)