谢谢你，乔希，很感谢你的反馈。
抓得好，虽然执行不力，耗时数月，但谷歌似乎已经弄清楚了哪些页面代表什么。
换句话说，最终，我开始看到我 301 重定向到旧页面关键词的页面越来越多。
这很有道理，我会看看如何实现——目前搜索控制台并没有经常显示爬虫进行 301 重定向。似乎当排名提高时，它们会更多地遵循 301。这可能是因果关系而非相关性。
这完全不是对 Discourse 的批评——我只是不太相信“成千上万的 Discourse 用户拥有出色的自然流量”。
谷歌也不会真正告诉我们。
我们必须永远记住，谷歌是一个算法，它们不是从人类的视角来看待这个问题的。
虽然两个版本共享相似的内容，谷歌也知道这并非恶意伪装——但它们仍然需要调整排名。
一个版本看起来好得多，运行得更好，并提供了一定的内部链接结构。另一个只是一个华丽的 RSS 源。
谷歌根本不知道我有一个很棒的论坛，它可以在所有[现代]设备上运行，真正鼓励讨论，并且是互联网上最酷的东西之一。
我总是喜欢使用“Powered by discourse” do-follow 链接在爬虫版本中。（仅仅因为它很简单）
再说一遍，我知道这不是恶意的，但你必须从谷歌的角度来看待它。你 FlyNumber（而不是 https://community.cloudflare.com/）给我们提供了这个爬虫版本，其中包含一个外部链接，而你没有向普通浏览器显示这个链接。
我完全可以看到算法注意到正在发生的事情，并忽略 Cloudflare 域的外部链接（因为它是如此权威）。
谷歌应用于 Cloudflare 的规则不会应用于我。
有人付钱让你提供这个你展示给机器人（但不想展示给普通用户）的外部链接吗？这更多是关于他们可能如何看待这个网站。我并不是说就是这样——但这是你想排除的一种可能性。
最简单的说法是，爬虫版本没有菜单或任何真正的结构。
这是算法认为你想为最终用户提供的内容。
从非常普遍的角度来看，我看不出算法会奖励这种行为。
也许是时候开始考虑真正大修爬虫版本了。至少添加主菜单和底部的推荐主题。
有趣的更新谷歌在我的 discourse 实例的抓取统计数据中添加了“JSON”到“文件类型”中。“Javascript”是一个单独的“文件类型”。
我会密切关注，但仍然希望它能在谷歌工具中正确渲染。