禁用或绕过 Googlebot 的功能检测(同时为爬虫提供 JS 应用)

你是在处理一些改变 Discourse 被抓取方式的事情吗?比如尝试使用 prerender?

如果你在 GA 中查看着陆页报告,它是否能提供关于网站哪个部分受到影响的线索?


对于主网站,如果 John Muller 建议存在质量问题,我会查看他们的质量文档,并问自己是否有任何一条适用于你。

从快速浏览来看,你的 2019 年网站存在重定向链,这可能“超过了 Google 的抓取长度限制”(https://old.reddit.com/r/bigseo/comments/errudz/hello_everyone_we_have_migrated_our_blog_from/ff5lbwa/?context=3)。

一个可能导致突然受罚的原因是,2019 年网站的网址有 6 个重定向,但 Google 建议“少于 5 个”,否则他们可能不会跟踪重定向。这可能让 Google 认为旧页面已从网上消失。

示例:

curl -sSL -D - http://flynumber.com/virtual-phone-number/united-states_alexandria_1-318 -o /dev/null -H 'User-Agent: header_bot'

重定向可能是最容易修复的。与其这样做:

/a → /b → /c → /d → /e → /final-destination

我建议这样做:

/a → /final-destination
/b → /final-destination
/c → /final-destination
/d → /final-destination
/e → /final-destination

(看起来你还有门页和自动同义词化,但我建议先尝试修复更简单的问题,因为这可能就足够了。)