# 论坛爬虫在邮件消息中抓取链接

**URL:** <https://meta.discourse.org/t/forum-crawls-links-in-email-in-messages/180978>\
**Category:** Support\
**Created:** [2021 年2 月 24 日 07:12 UTC](https://meta.discourse.org/t/forum-crawls-links-in-email-in-messages/180978 "2021-02-24T07:12:46Z")\
**Posts on this page:** 6\
**Page:** 1

<div class="post-metadata">

作者： ![Dannii](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/dannii/32/129087_2.png) [@Dannii](https://meta.discourse.org/u/Dannii)\
发布日期： [2021 年2 月 24 日 07:12 UTC](https://meta.discourse.org/t/forum-crawls-links-in-email-in-messages/180978/1 "2021-02-24T07:12:47Z")

</div>

我们发现论坛正在抓取邮件消息中的所有链接（或者可能是抓取所有已发布的链接？）。

是否有设置可以更改此行为，例如完全禁用，或将特定 URL 加入黑名单？

---

<div class="post-metadata">

作者： ![simon](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/simon/32/339122_2.png) [@simon](https://meta.discourse.org/u/simon)\
发布日期： [2021 年2 月 25 日 19:46 UTC](https://meta.discourse.org/t/forum-crawls-links-in-email-in-messages/180978/2 "2021-02-25T19:46:57Z")

</div>

> [@Dannii](#):
>
> 我们发现论坛正在抓取电子邮件消息中的所有链接

能否提供更多细节，说明您希望阻止发生什么情况？

---

<div class="post-metadata">

作者： ![Falco](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/falco/32/179432_2.png) [@Falco](https://meta.discourse.org/u/Falco)\
发布日期： [2021 年2 月 25 日 20:03 UTC](https://meta.discourse.org/t/forum-crawls-links-in-email-in-messages/180978/3 "2021-02-25T20:03:48Z")

</div>

这不就是我们要的标准 Onebox 功能吗？

你可以使用“屏蔽的 Onebox 域名”站点设置来屏蔽它。

---

<div class="post-metadata">

作者： ![Dannii](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/dannii/32/129087_2.png) [@Dannii](https://meta.discourse.org/u/Dannii)\
发布日期： [2021 年2 月 25 日 22:36 UTC](https://meta.discourse.org/t/forum-crawls-links-in-email-in-messages/180978/4 "2021-02-25T22:36:44Z")

</div>

> [@simon](#):
>
> 能否提供更多细节，说明您试图防止发生什么情况？

我们曾尝试测试能否利用我们的论坛接收来自其他网站的 moderations 消息，但论坛自动跟随了“批准新用户”或“封禁用户”的链接。

> [@Falco](#):
>
> 这不就是我们要的标准 Onebox 功能吗？

这些 URL 是作为锚标签发布的，而不是裸露的 URL。即使无法将它们转换为 Onebox，Onebox 代码是否仍会访问这些页面？

---

<div class="post-metadata">

作者： ![Falco](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/falco/32/179432_2.png) [@Falco](https://meta.discourse.org/u/Falco)\
发布日期： [2021 年2 月 26 日 01:11 UTC](https://meta.discourse.org/t/forum-crawls-links-in-email-in-messages/180978/5 "2021-02-26T01:11:03Z")

</div>

是否已启用“在所有域上启用行内单框”功能？

---

<div class="post-metadata">

作者： ![Dannii](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/dannii/32/129087_2.png) [@Dannii](https://meta.discourse.org/u/Dannii)\
发布日期： [2021 年2 月 26 日 02:17 UTC](https://meta.discourse.org/t/forum-crawls-links-in-email-in-messages/180978/6 "2021-02-26T02:17:52Z")

</div>

确实如此。但它会不会不适用呢？“允许的嵌入式链接域名”设置说的是“如果链接没有标题”。

这些链接会以如下形式发布（由邮件中的 `<a>` 标签转换而来）：

```plaintext
[批准新账户](URL)

```