我不确定为什么 Google 没有索引我们的 discourse 社区内容。
请看这里的页面：Welcome to the Appsmith Community | Appsmith Community Portal
标题相当独特。我想，当我将标题复制并粘贴到 Google 中时，第一个链接应该是上面的 URL。
但结果却是这样的：它不仅不是第一个链接，根本就没有显示出来。
我哪里做错了？
2 个赞
这可能有非常非常多的原因。
Googlebot 实际上是否抓取了您的网站？请检查 mysite.com/admin/reports/web_crawlers
Googlebot 是否被阻止或速率限制？请检查 mysite.com/admin/site_settings/category/security?filter=crawler%20user%20agents
您是否已将您的网站添加到 Google Search Console？
自托管用户甚至可以安装以下插件来提供帮助
2 个赞
Sitemap 插件也适用于我们的 Business 和 Enterprise 套餐。
可能什么都没做错。出于某种原因，Google 似乎比具有完全相同标题的实际主题更优先显示“我该如何做 X”。为什么？我不确定。这可能只是一个 AI 根据未知模式做出的决定。
6 个赞
也就是没人知道的谷歌模式 
2 个赞
那对我们来说是个大问题。我们会研究一下，但这有点违背了整个目的，因为我们不能指望人们“浏览”社区中的每一个话题。实际上，大多数人会谷歌搜索他们的问题（即使他们是社区成员）来找到答案。
2 个赞
在你的案例中，很难弄清楚谷歌的情况。我冒昧地仔细查看了你的爬虫统计数据，乍一看，谷歌爬虫似乎并不经常访问你的社区。你是否已经尝试从Google Search Console中获得一些见解？也许那里有一些信息可以帮助你弄清楚这个问题。
我在 Meta 上看到最近创建的部分主题也出现了同样的情况。我会和我们的团队讨论这个问题，以找出我们能做什么，或者这是否仅仅是谷歌的“谷歌行为”。我会及时向你更新。
另外，你看了我们关于 SEO 的两篇博客文章吗？
2 个赞
这种谷歌行为始于几个月前，而且还在不断恶化。
就我而言，站点地图并没有帮助……
1 个赞
是的，这是我要问的第一个问题。
4 个赞
嗯……我们的网站是 appsmith.com，所以当我们向 GSC 提交 appsmith.com 时，理想情况下所有 appsmith.com 的子域名和子文件夹都应该被索引，对吧？
我已经手动将 community.appsmith.com（我们的 discourse 论坛）添加到 GSC 了，但不确定这是否会带来任何改变。
我会在您的 GSC 中将子域名添加为独立属性，并提交一个专用的子域名站点地图。
1 个赞
是的 
这似乎是个问题。因为如果谷歌不索引单个帖子，我们就无法继续下去，因为这在某种程度上会使建立社区的整个目的失效（因为大多数人会通过谷歌发现内容——包括我们现在的用户，而不是通过 discourse 的分类）。
而且这似乎不仅仅是我们的 discourse 的问题，就连这个论坛（meta.discourse.org）也存在这个问题。
为了展示这一点，我搜索了这篇帖子的标题，得到了以下结果：
基本上，对于那些最终将 discourse 社区用作知识库的人来说（当然，很多公司都会这样做），这会成为一个大问题。
我们几乎遵循了上面分享的关于 SEO 的两篇博文中提供的所有指南，我们的内容丰富、详细、技术性强。但当人们在谷歌上搜索时，却找不到。
所以，各位，我有一个真实的问题：考虑到我们的用例（通过支持查询创建知识库，这也可能有助于 SEO），并看到当前的问题，您会建议我们开始计划寻找替代方案吗？
1 个赞
这是来自 Google 的一段摘录
Google 对您内容的索引取决于系统算法，这些算法会考虑用户需求和质量检查。
另外请记住，只有 TL3 及以上用户才能禁用“nofollow”链接。
这里有一些可以阅读的内容
换句话说，我的帖子比您的帖子更有“分量”。
抱歉，你说得对 
1 个赞
@constantine 看起来 Google 更偏好子域名 https://docs.appsmith.com 上的页面，而不是 https://community.appsmith.com 上的页面。
大多数搜索结果都来自 docs.appsmith.com
Google Search
瞎猜一下：Google 偏好一个子域名而不是另一个，可能受到“核心网页指标”最大内容绘制 (LCP) 的影响。
https://pagespeed.web.dev/ 上的模拟报告被 Discourse 弄“坏”了。最好检查您域名的 Google Search Console 报告“体验”->“核心网页指标”。
各位，只是想更新一下，我们自己托管了 Discourse，并将站点地图提交给了 Search Console，现在我们的内容正在被 Google 索引。所以，也许云托管版本有问题？
我不确定这是否与站点地图或云托管有关。Meta 托管在 AWS 上，这与我们托管许多其他客户的地方完全不同，而且我们最近开始看到 Meta 的结果非常不均衡，并且在各种托管选项中出现了相当多的网站。
我一直在尝试调整一些事情，看看是否有帮助。
-
我们不再跟踪指向
.rss的链接，这可以避免 Google 扫描主题的所有/1/2等变体，而这些变体共享相同的规范。 -
我们明确告知 Google 不要跟踪
.rssfeed 中的链接，以防它获取到 rss feed。 -
我暂时禁用了我们进行的一些规范调整——这显示出了希望：Search engines now blocked from indexing non-canonical pages
我在这里观察到的 Meta 症状是：
- Google 确实抓取了所有内容，我可以在网络日志中看到这一点。
- 尽管进行了抓取，但大约 50% 的新 Meta 主题最近没有出现在索引中。
这极其令人担忧，Google 没有给我们提供“为什么？”的可见性。
我的下一步是获取更多数据并进行持续报告，我们可能会使用 serpapi 来找出哪些页面在 Google 中丢失，并尝试找出一种模式。
5 个赞
因为 Meta，也就是这里的 OP，并不像谷歌期望的那样使用“为什么”？我做了一些实验，即使上下文保持不变，使用不同的句子也会改变搜索结果。正如预期的那样。
而且……个人搜索历史是一个很大的、不太好的东西。我的结果经常指向 Meta 以外的地方，因为我在这里进行搜索，而不是通过谷歌。
是的。Discourse 可能仍然在谷歌方面存在一些问题，这可能与“论坛状态”有关，谷歌对论坛的反应不像对普通网站那样。或者存在一些技术问题——即使那样也只是很少的原因。
这和我做的同样，在最初的改进期之后，它又回到了被忽视的状态。
现在两个月过去了，即使是站点地图中的新帖子也没有被索引，这种情况已经持续了好几个月，我们损失了很多浏览量。
我们想尝试 这个 一个月，如果还没有改善，我们将更换软件 
在“索引”->“覆盖率”报告中查找“遗漏”页面。这可能不会告诉你“为什么”，但会告诉你“发生了什么”。
-
打开您域名的“索引”->“覆盖率”。
-
选择“所有提交的页面”
-
特别关注“已排除”
不同阶段的说明：Page indexing report - Search Console Help
我的假设是 Google：“已抓取，但暂未编入索引”有一个上限，而当此状态下的页面过多时，新页面只会非常缓慢地进入 Google 索引。
关于 Google 爬虫性能，请参阅 Google Search Console 报告“设置”->“抓取统计信息”
这里尤其值得关注的是“平均响应时间”的时间线和发展：响应越快 = 抓取请求越多
“按用途”也很有趣：
