# 为什么 Google 没有抓取我的网站？ **URL:** \ **Category:** Support\ **Created:** [2020年四月14日 07:58 UTC](https://meta.discourse.org/t/why-is-google-not-crawling-my-site/147919 "2020-04-14T07:58:17Z")\ **Posts on this page:** 8\ **Page:** 1
**Author:** ![dunebuggie](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/dunebuggie/32/117408_2.png) [@dunebuggie](https://meta.discourse.org/u/dunebuggie)\ **Post date:** [2020年四月14日 07:58 UTC](https://meta.discourse.org/t/why-is-google-not-crawling-my-site/147919/1 "2020-04-14T07:58:17Z")
大家好， 以前，当我们在 Google 上搜索某些主题时，我们的社区论坛会出现在搜索结果中，带来不少讨论。但最近我们发现，社区内容在搜索结果中完全消失了。我们最近做了一些重新分类并关闭了大量讨论帖，这是唯一的变动。 我们还尝试将 robots.txt 设置为“允许所有内容”：[https://community.tyk.io/robots.txt](https://community.tyk.io/robots.txt) 但即便如此，在 Browseo 上仍然收到 `403 Forbidden` 错误：[Your New SEO Browser: Browseo](https://www.browseo.net/?url=https%3A%2F%2Fcommunity.tyk.io%2F) 目前，当我们在 Google 上搜索社区时，结果如下： ![image](https://global.discourse-cdn.com/meta/original/3X/6/e/6e1f9a34e06e0acfd87cac1355bca2d7ae6fe70b.png) 不确定我们哪里出了问题。任何帮助都将不胜感激。另外，如果有关于 Discourse 社区 SEO 的博客或教程，也欢迎分享。我们很想了解如何改进。 谢谢！ ---
**Author:** ![simon](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/simon/32/339122_2.png) [@simon](https://meta.discourse.org/u/simon)\ **Post date:** [2020年四月14日 16:57 UTC](https://meta.discourse.org/t/why-is-google-not-crawling-my-site/147919/2 "2020-04-14T16:57:23Z")
如果您点击 Google 搜索结果底部显示的“了解原因”链接，会看到什么？ 您是否对 Discourse 站点的“白名单爬虫用户代理”或“黑名单爬虫用户代理”站点设置进行了任何更改？ ---
**Author:** ![codinghorror](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/codinghorror/32/110067_2.png) [@codinghorror](https://meta.discourse.org/u/codinghorror)\ **Post date:** [2020年四月14日 21:20 UTC](https://meta.discourse.org/t/why-is-google-not-crawling-my-site/147919/3 "2020-04-14T21:20:55Z")
根据我们多年的经验，您无需进行任何操作。不过，如果您的网站在网络上缺乏足够的链接，可能需要一些时间。请访问您域名的 Google 站长工具。 ---
**Author:** ![dunebuggie](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/dunebuggie/32/117408_2.png) [@dunebuggie](https://meta.discourse.org/u/dunebuggie)\ **Post date:** [2020年四月15日 08:43 UTC](https://meta.discourse.org/t/why-is-google-not-crawling-my-site/147919/4 "2020-04-15T08:43:07Z")
> [@simon](#): > > 如果你点击 Google 搜索结果底部显示的“了解原因”链接，会看到什么？ 我被带到了 Google 支持页面的 [此页面](https://support.google.com/webmasters/answer/7489871?hl=en)。 > [@simon](#): > > 你是否对你的 Discourse 站点的“白名单爬虫用户代理”或“黑名单爬虫用户代理”站点设置做过任何更改？ 应该没有。 ![image](https://global.discourse-cdn.com/meta/original/3X/3/9/39ada4ac51c2a7495d9eab1c231af2ed7bc49f98.png) ---
**Author:** ![dunebuggie](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/dunebuggie/32/117408_2.png) [@dunebuggie](https://meta.discourse.org/u/dunebuggie)\ **Post date:** [2020年四月15日 08:44 UTC](https://meta.discourse.org/t/why-is-google-not-crawling-my-site/147919/5 "2020-04-15T08:44:47Z")
谢谢，Jeff。我正在让团队查看 Google 站长工具。这很可能是 Google 的问题，因为我们除了在 Discourse 上关闭线程和重新分类外，实际上没有做任何更改。 ---
**Author:** ![Canapin](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/canapin/32/119591_2.png) [@Canapin](https://meta.discourse.org/u/Canapin)\ **Post date:** [2020年四月15日 09:52 UTC](https://meta.discourse.org/t/why-is-google-not-crawling-my-site/147919/8 "2020-04-15T09:52:37Z")
关于站点地图我不太了解，但我会引用 Discourse 团队的说法： > [@justin](#): > > 站点地图插件对于网站被 Google 收录来说并非必需，因为 Discourse 本身的结构已便于爬虫轻松索引。不过对于大型网站，该插件可以略微提升索引速度。 > [@codinghorror](#): > > 站点地图毫无用处且没有必要。 ---
**Author:** ![riking](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/riking/32/170938_2.png) [@riking](https://meta.discourse.org/u/riking)\ **Post date:** [2020年四月15日 15:25 UTC](https://meta.discourse.org/t/why-is-google-not-crawling-my-site/147919/11 "2020-04-15T15:25:56Z")
> [@dunebuggie](#): > > > [@simon](#): > > > > 您是否对 Discourse 站点的“白名单爬虫用户代理”或“黑名单爬虫用户代理”站点设置进行了任何更改？ > > 我想没有。 > 白名单爬虫用户代理 > 警告！设置此项将禁止所有未在此列出的爬虫！ 名称显示为黄色表示该设置已被修改。 请使用重置按钮清除该设置。 ---
**Author:** ![system](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/system/32/443519_2.png) [@system](https://meta.discourse.org/u/system)\ **Post date:** [2020年五月16日 09:10 UTC](https://meta.discourse.org/t/why-is-google-not-crawling-my-site/147919/16 "2020-05-16T09:10:30Z")
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.