嵌入式讨论对搜索引擎爬虫的影响

嵌入式讨论的内容在页面渲染后加载,因此其内容不会被搜索引擎抓取。

有什么方法可以让嵌入式讨论的内容被搜索引擎抓取吗?

您是否在关闭 JavaScript 的情况下访问过您的网站和/或使用过爬虫用户代理?它会向爬虫提供静态内容。


这是我的用例。

我正在将 Discourse 嵌入到我的网站中,并希望 Google 爬虫能够抓取这部分内容并将其与我的网站相关联。

目前的问题是嵌入的 Discourse 部分渲染速度太慢,导致 Google 无法抓取。

我相当确定,如果你嵌入 Discourse(或任何网站),爬虫不会将嵌入内容包含在它被嵌入的网站中,而是只包含在信息来源中。

3 个赞