禁用或绕过 Googlebot 的功能检测(同时为爬虫提供 JS 应用)

很高兴您问了,是的,我认为这就是我的 Google“软性处罚”的原因

请允许我详细说明。

我们在 2019 年 9 月/10 月左右进行了非常糟糕的网站更新,主站当时就崩溃了。

我们从未恢复。就 SEO 而言,该网站从未像现在这样好过。当然它并不完美,但我们比一些竞争对手领先很多。使用我们许多年前的图片和文字的网站的排名比我们高。我们在第三页,而他们可能在第二页的顶部。

我浏览了无数的 SEO 博客、视频、帖子,甚至还与 John Mueller(在 Reddit 上)进行了一些来回交流。

我从他那里得到的最多的信息是,这可能是“质量问题”。自今年 1 月 1 日以来,我们已经极大地改进了主站。有机流量甚至没有一丝波动。

Discourse: 我在 2013 年安装了它,然后就忘了它。几乎不会查看它的流量。

如果您查看主站分析,您会看到图表末尾有一个急剧下降。这时我开始处理 Discourse。

在 Discourse 上尝试 prerender.io 时,主站的排名变化很大。有时一夜之间会跳升 10-15 位,然后又回落。(我后来停止使用 prerender,因为它们无法渲染主菜单、登录等)

根据我在网上看到的信息,这是 Google 不知道如何定位您的迹象。他们说只要“多”一点,您就能在算法中占据有利位置。

在过去的 3 年里,我们所做的任何事情都没有引起 SERP 中的这些波动。

(捣鼓 Google 拒绝工具、清理代码、干净的 URL、站点结构、内部链接、社交、内容等)

您可能会争辩说,为什么 Google 在 2018 年没有惩罚我?(那时您也在子域上运行 Discourse)

嗯,我认为这是由于该网站、其历史、链接配置文件等多种独特因素造成的,导致它在 2019 年底崩溃。似乎 Google 重新洗牌了网站排名,并且可能给予 Discourse URL 比以前更多的权重。

而且关键是……我喜欢 Discourse。尤其是我现在更多地使用 meta,所有这些很酷的插件和功能我以前都不知道它们的存在。Wiki、订阅付款、目录、以及现在的聊天!!

所以,离开 Discourse 并不是一个真正的选择,现在投入太多了。

我确实考虑过这一点,并且愿意冒险一试。我知道它不会完美,但根据我所读和所看,Google 近来在理解 JS 方面已经非常出色了。

他们甚至弃用了 ajax 爬行方案

时光飞逝。如今,只要您不阻止 Googlebot 抓取您的 JavaScript 或 CSS 文件,我们通常就能像现代浏览器一样渲染和理解您的网页

题外话: Discourse 有一个 ajax 爬行设置——我想这最终必须取消


所以计划是向 Google 提供应用程序,尽我所能修复可能出现的任何 SEO 问题,并享受流量的激增。

然后,我可以在 meta 上报告结果,并论证 Discourse 应该考虑优化 JS 以适应 Google。

例如,也许像这样(来自 Google 博客)的东西可以帮助解决分页和滚动问题。

并为旧浏览器保留非爬虫版本。