我不确定这是否与站点地图或云托管有关。Meta 托管在 AWS 上，这与我们托管许多其他客户的地方完全不同，而且我们最近开始看到 Meta 的结果非常不均衡，并且在各种托管选项中出现了相当多的网站。
我一直在尝试调整一些事情，看看是否有帮助。
-
我们不再跟踪指向
.rss的链接，这可以避免 Google 扫描主题的所有/1/2等变体，而这些变体共享相同的规范。 -
我们明确告知 Google 不要跟踪
.rssfeed 中的链接，以防它获取到 rss feed。 -
我暂时禁用了我们进行的一些规范调整——这显示出了希望：Search engines now blocked from indexing non-canonical pages
我在这里观察到的 Meta 症状是：
- Google 确实抓取了所有内容，我可以在网络日志中看到这一点。
- 尽管进行了抓取，但大约 50% 的新 Meta 主题最近没有出现在索引中。
这极其令人担忧，Google 没有给我们提供“为什么？”的可见性。
我的下一步是获取更多数据并进行持续报告，我们可能会使用 serpapi 来找出哪些页面在 Google 中丢失，并尝试找出一种模式。