Googlebot のフィーチャー検出を無効にするかバイパスする方法(クローラーに JS アプリを提供する際)

ありがとうございます、ジョシュ、フィードバックに感謝します。

よく見つけましたね。実行は悪かったですが、数ヶ月かかりましたが、Googleはどのページが何を意味するのかを理解し始めたようです。

言い換えれば、古いページで使用されていたキーワードに対して、私が301リダイレクトしたページが徐々に見られるようになりました。

これは非常に理にかなっており、実装方法を検討します。現在、サーチコンソールではクローラーが301に頻繁にアクセスしているようには見えません。ランクが上がると、より多くの301に従うようです。相関関係のない因果関係かもしれません。


Discourseを非難しているわけではありません。「何千ものDiscourseユーザーが素晴らしいオーガニックトラフィックを獲得している」という言葉には、簡単に納得できません。

Googleも私たちには教えてくれません。

Googleはアルゴリズムであり、人間の目線で見ているわけではないことを常に覚えておく必要があります。

両方のバージョンは類似したコンテンツを共有しており、Googleはそれが悪意のあるクローキングではないことを知っていますが、それでもランクを調整する必要があります。

一方のバージョンははるかに見栄えが良く、機能も良く、内部リンク構造の感覚を与えます。もう一方は、強化されたRSSフィードです。

Googleは知りません、私がこの洗練されたフォーラムを持っていて、それがすべての[モダン]デバイスで動作し、真に議論を促進し、インターネットがこれまでに作成した最もクールなものの1つであることを。

クローラーバージョンで「Powered by discourse」のdo-followリンクを常に使用しています。(単純に簡単なので)

繰り返しますが、悪意があるとは思いませんが、Googleの目線で見る必要があります。あなたはFlyNumber(https://community.cloudflare.com/ではありません)は、通常のブラウザには表示しないクローラーバージョンで、この外部リンクを提供しています。

Cloudflareドメイン(非常に権威があるため)に適用されることは、私には適用されません。

ボットに表示する(しかし通常のユーザーには表示したくない)外部リンクのために誰かにお金を払いましたか?それは彼らがサイトをどのように見るかということについてのものです。私はこれがそうであるとは言っていませんが、あなたが排除したい可能性はあります。

最も簡単な言葉で言えば、クローラーバージョンにはメニューや実際の構造がありません。

それがアルゴリズムがエンドユーザーに提供したいコンテンツだと考えているものです。

非常に一般的な観点から、アルゴリズムがそれを評価するとは思えません。

クローラーバージョンの本格的なオーバーホールを検討する時期かもしれません。少なくともメインメニューと下部のおすすめトピックを追加してください。

興味深いアップデート Googleは、私のDiscourseインスタンスのクロール統計に「ファイルタイプ」として「JSON」を追加しました。「JavaScript」は別の「ファイルタイプ」です。

密接に追跡しますが、Googleツールで正しくレンダリングされることを願っています。