使用官方广告插件 Discourse Advertising Plugin (Ads)
/new 和 /unread 页面存在爬虫问题，如何解决？
可以分享您的网址吗？您的网站需要登录吗？
实际上，这是我们客户的网站，它确实需要登录，但该网站无需登录即可访问，与 meta.discourse.org 这个论坛一样。
所以，如果您未登录，可以在 mysterysite.com/new 查看主题吗？
不，它不可见！
哎呀！该页面不存在或为私密页面。
所以这就是谷歌看到的内容。我相当确定，列出不可用的内容是不被认可的，尽管付费墙网站在一定程度上会这样做。
编辑：我搞错了！
为了确定哪些内容是“新的”或“未读的”，论坛需要知道您的身份，因此要求用户已登录。
有什么办法可以解决这个问题吗？
即使无法访问这两个页面，AdSense 也能正常运行。
这两个不应该在 robots.txt 中排除吗？
