Bing正在抓取每个帖子的RSS feed，我可以在Discourse中禁用feed吗

mhwebee · 2020 年10 月 23 日 00:03

所以，我正在为一个使用子域名的网站搭建 Discourse 论坛，我注意到 Bing 正在抓取每个帖子和分类的 RSS 源，并将其收录到站点地图部分。

这是预期的行为吗？
我是否应该禁用论坛的 RSS 源以防止这种情况发生？
Discourse 中是否有禁用 RSS 源的方法？

jomaxro · 2020 年10 月 23 日 02:30

不是。RSS 源包含 noindex 标头，Bing 理应遵守。请参阅

app/controllers/application_controller.rb

main


      
            end
          end
          
          around_action :ensure_dont_cache_page
          before_action :check_readonly_mode
          before_action :handle_theme
          before_action :set_current_user_for_logs
          before_action :set_mp_snapshot_fields
          before_action :clear_notifications
          around_action :with_resolved_locale
          before_action :set_mobile_view
          before_action :block_if_readonly_mode
          before_action :authorize_mini_profiler
          before_action :redirect_to_login_if_required
          before_action :block_if_requires_login
          before_action :redirect_to_profile_if_required
          before_action :preload_json
          before_action :initialize_application_layout_preloader
          before_action :check_xhr
          before_action :set_crawler_header
          after_action :add_readonly_header

以及

github.com/discourse/discourse

app/controllers/application_controller.rb

main


      
            end
          
            if UserApiKey.allowed_scopes.superset?(Set.new(["one_time_password"]))
              redirect_to("#{params[:auth_redirect]}?otp=true", allow_other_host: true)
              return
            end
          end
          
          if !current_user && SiteSetting.login_required?
            flash.keep
            if (request.format && request.format.json?) || request.xhr? || !request.get?
              ensure_logged_in
            else
              redirect_to_login
            end
            return
          end
          
          return if !current_user
          return if !should_enforce_2fa?

无法做到这一点（除非将整个网站设置为需要登录，但这会禁用所有索引。）

您是在实际的 Bing 搜索结果中看到 RSS 页面，还是仅在他们的站长工具中看到？

mhwebee · 2020 年10 月 23 日 18:19

有没有办法确认 noindex 是否出现在源订阅中？我之所以这么问，是因为我甚至在 RSS 源代码中都找不到 noindex 标签。例如，我也用 .rss 格式打开了这个论坛帖子，但在源代码中同样找不到 noindex。

到目前为止，我只在站长工具的站点地图部分（位于订阅分组下）看到了这些源订阅。

谢谢，

jomaxro · 2020 年10 月 23 日 20:06

当然。以下步骤假设您使用的是 Google Chrome，但其他浏览器也可参考类似流程。

打开开发者工具面板 F12
切换到“网络”（Network）选项卡。
加载一个 RSS 源，例如本主题：https://meta.discourse.org/t/bing-is-picking-all-the-rss-feed-for-each-post-can-i-disable-the-feed-in-discourse/168025.rss
在列表中选择该 RSS 源条目。
查看“标头”（Headers）选项卡中的响应标头，您应该能看到 x-robots-tag: noindex。

mhwebee · 2020 年10 月 25 日 18:30

谢谢，我确实看到了 x-robots-tag: noindex。但我还是不明白，既然设置了 noindex 标签，Bing 为什么还会抓取 RSS？

codinghorror · 2020 年10 月 25 日 22:43

欢迎来到“激动人心的必应世界”™！

我真希望我能说自己感到惊讶。我真的非常非常希望如此。

JimPas · 2020 年10 月 26 日 04:31

试图追赶谷歌吗？

anon23393886 · 2020 年11 月 20 日 16:33

我假装你没有在讽刺。

不，他们已经赶上了，但在正确索引 Discourse 论坛方面，他们还有很长的路要走。

Frédéric · 2020 年11 月 20 日 21:02

大家好！很抱歉给大家带来这么多麻烦。我将把这个帖子转发给 Bing 团队的其他成员。Bing 本不应索引带有 noindex 元标签的 RSS，因此这很可能是一个 bug 或抓取问题。感谢大家的报告！

预计这个问题将在几小时内得到修复。届时我会回到这个帖子并发布确认信息。如果我们遇到一些困难，我会通过私信与发帖人（OP）进一步沟通。再次感谢大家。

Jordi · 2020 年11 月 20 日 23:17

Frédéric 已向我介绍了这里的情况以及正在发生的事情。在他忙于处理其他不得不优先关注的事务期间，我代表他发言。

目前看来，我们已经掌握了问题的关键。正如 Frédéric 所说，我已直接私信了 @mhwebee，并将私下继续处理此事。如果您能关闭该线程，那就太好了！

我及必应开发团队向您致以诚挚的问候，

Jordi

话题		回复	浏览量
Issues with embedding from RSS Support	32	3287	2020 年6 月 26 日
Can we add "feed" function on Discourse? Feature	10	3830	2017 年3 月 6 日
Way to globally disable all RSS feeds Feature	6	1295	2021 年10 月 26 日
Finding Discourse RSS feeds Using Discourse rss , reference	25	9223	2025 年1 月 18 日
RSS Feed Not Working for Discourse Forum Support rss	5	155	2025 年2 月 19 日

Bing正在抓取每个帖子的RSS feed，我可以在Discourse中禁用feed吗

相关话题