禁用 Javascript 时爬虫视图损坏

在查看其他内容时遇到了这个错误,但基本上如果你在 Chrome 中禁用 JS

你会得到这个

而不是这个,如果你将用户代理更改为 Google 智能手机机器人,你会得到这个

Google bot 曾经抓取过我的实例,最近它的爬虫似乎为我禁用了 JS。

我认为这与我使用 prerender 大约一个月有关……所以它正在调整 JS 文件而不是所有 HTML。 大约每 10 次测试 我会看到它正确渲染的截图。

但大多数时候它会给出我在第一个截图中看到的格式。时间会证明一切。

这是设计使然,我们有移动优化。

如果用户代理是现代的并且您是从移动设备浏览,那么我们将省略文本负载以优化手机传输。

不可配置,如果需求足够,我们也许可以在长期内实现这一点。

3 个赞