所以进入 /admin/customize/robots 后，使用站点地图插件时，我注意到底部有这段内容。如果我想允许 Google 访问所有需要登录才能查看的帖子，这部分该如何修改？
或者，我是否只需为所有分类添加 Allow 语句？
我目前只关注 SEO 问题，因为最近更改了一些分类的可见性，但仍希望 Google 能够抓取这些页面。
<%- if SiteSetting.sitemap_enabled? %>
<%- unless SiteSetting.login_required? %>
Sitemap: <%= request.protocol %><%= request.host_with_port %>/sitemap.xml
<% end %>
<% end %>
如果某个分类或整个论坛不是公开的，则无法允许 Google 抓取。
论坛是公开的，但某些类别不是。我想要实现的效果是：用户必须登录才能查看这些类别，但允许 Google 查看并抓取这些页面。
我查阅了关于 robots.txt 文件的在线资料，发现可以通过 Allow: 指令实现这一目标，但示例仅展示了如何允许访问特定页面，而非整个类别。
这是不可能的。非公开类别需要登录才能访问。Google 的网络爬虫没有登录（它是匿名的）。因此，Google 无法查看该类别或其任何内容。
顺便提一下，如果 Google 能够在不登录的情况下访问内容，那么具备技术知识的用户理论上也可以这样做。
明白了。有没有办法针对每个类别强制弹出登录窗口？比如，是否可以找人开发一个插件来实现这个功能？
我不清楚是否有现成的插件可以实现这一功能，但此前在 Meta 上确实有过相关讨论。快速搜索应该能找到相关内容。
Google 会因这种行为封禁你。请做一些调研。
谢谢。我是在一个 SEO 博客上看到的，但风险太大，不值得。我打算直接用 CSS 把它从主分类页面隐藏起来。