Googlebot のフィーチャー検出を無効にするかバイパスする方法(クローラーに JS アプリを提供する際)

お尋ねいただきありがとうございます。はい、それがGoogleの「ソフトペナルティ」の原因だと考えています。

詳しく説明させてください。

2019年9月/10月頃に非常にずさんなサイトアップデートを行い、メインサイトはそこで壊滅的な打撃を受けました。

回復することはありませんでした。SEOに関しては、サイトがこれほど悪かったことはありません。もちろん完璧ではありませんが、競合他社よりもはるかに進んでいます。私たちの長年の画像やテキストを使用しているサイトが、私たちよりも上位にランク付けされています。私たちは3ページ目にあり、彼らはおそらく2ページ目のトップにいます。

数え切れないほどのSEOブログ、ビデオ、投稿を読み、ジョン・ミューラー(John Mueller)(Redditで)とも何度かやり取りしました。

彼から得られた最大の収穫は、「品質の問題」かもしれないということでした。今年1月1日以降、メインサイトを劇的に改善しました。オーガニックトラフィックにはわずかな変化もありませんでした。

Discourse: 2013年にインストールして、忘れていました。トラフィックをほとんどチェックしませんでした。

メインサイトの分析を見ると、チャートの終盤に急激な低下が見られます。これは、私がDiscourseに取り組み始めたときです。

prerender.ioをDiscourseで試したところ、メインサイトのランキングはバラバラでした。時には一晩で10〜15スポットジャンプし、その後元に戻りました。(メインメニューやログインなどをレンダリングできなかったため、その後prerenderを停止しました。)

オンラインで読んだことから、これはGoogleがどこに配置すべきかわからない兆候です。彼らは、もう少し「追加」すれば、アルゴリズムの良い側にいると言うでしょう。

過去3年間、私たちがSERPでこれらの変動を引き起こしたことは何もありません。

(Googleの否認ツールをいじったり、コードをクリーンアップしたり、URLをクリーンにしたり、サイト構造、内部リンク、ソーシャル、コンテンツなどを調整したりしました。)

「なぜGoogleは2018年に私を罰しなかったのか?」と主張するかもしれません。(その時もDiscourseはサブドメインにありました。)

まあ、それはサイト、その歴史、リンクプロファイルに固有の多くの要因の組み合わせだったと思います。それが2019年後半にサイトを壊滅させた原因です。Googleがサイトのランクを再編成し、おそらくDiscourseのURLに以前よりも多くの重みを与えたようです。

そして、問題は…私はDiscourseが大好きです。特に、メタでより多くの時間を過ごすようになり、私が知らなかったクールなプラグインや機能がたくさんあります。Wiki、サブスクリプション支払い、目次、そして今度のチャット!!

ですから、Discourseから離れることは実際には選択肢ではありません。現時点では投資が多すぎます。

これを考慮しましたが、運を天に任せるつもりです。完璧ではないことはわかっていますが、読んだり見たりしたことから、Googleは最近JSを理解するのが非常に得意になっています。

彼らはAJAXクロールスキームを非推奨にさえしました。

時代は変わりました。今日では、GooglebotがJavaScriptまたはCSSファイルをクロールするのを妨げていない限り、一般的に最新のブラウザのようにウェブページをレンダリングして理解できます。

余談: DiscourseにはAJAXクロール用の設定があります。これは最終的に削除する必要があると思います。


したがって、計画は、アプリをGoogleに配信し、発生する可能性のあるSEOの問題を可能な限り修正し、トラフィックの急増を楽しむことです。

その後、メタで結果を報告し、DiscourseがJSをGoogle向けに最適化することを検討すべきだと主張できます。

たとえば、このようなもの(Googleブログより)は、ページネーションとスクロールの問題に役立つかもしれません。

そして、古いブラウザのために非クローラーバージョンを維持します。