# 私人论坛中的爬虫？

**URL:** <https://meta.discourse.org/t/crawlers-in-a-private-forum/133273>\
**Category:** Data & reporting\
**Created:** [2019年十一月13日 08:28 UTC](https://meta.discourse.org/t/crawlers-in-a-private-forum/133273 "2019-11-13T08:28:34Z")\
**Posts on this page:** 3\
**Page:** 1

<div class="post-metadata">

**Author:** ![Mark\_Schmucker](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/mark_schmucker/32/124810_2.png) [@Mark\_Schmucker](https://meta.discourse.org/u/Mark_Schmucker)\
**Post date:** [2019年十一月13日 08:28 UTC](https://meta.discourse.org/t/crawlers-in-a-private-forum/133273/1 "2019-11-13T08:28:34Z")

</div>

我们使用 SSO 与 WordPress 站点集成，那么如何会出现爬虫呢？数量虽然很少，但涉及敏感信息，因此即使少量爬虫也令人担忧。我们每日合并页面浏览量的典型分布如下：

已登录用户：5000  
匿名用户：20（访问登录页面会触发此计数，因此无需担心）  
爬虫：5（怎么回事？）

我已阅读 [https://meta.discourse.org/t/smarter-handling-of-random-crawler-traffic/78227，大致了解到爬虫检测并不完美。我是否应该感到担忧？](https://meta.discourse.org/t/smarter-handling-of-random-crawler-traffic/78227%EF%BC%8C%E5%A4%A7%E8%87%B4%E4%BA%86%E8%A7%A3%E5%88%B0%E7%88%AC%E8%99%AB%E6%A3%80%E6%B5%8B%E5%B9%B6%E4%B8%8D%E5%AE%8C%E7%BE%8E%E3%80%82%E6%88%91%E6%98%AF%E5%90%A6%E5%BA%94%E8%AF%A5%E6%84%9F%E5%88%B0%E6%8B%85%E5%BF%A7%EF%BC%9F)

任何合法的已登录用户运行爬虫似乎都不可思议。

 ![image](https://global.discourse-cdn.com/meta/original/3X/f/9/f9c5ed25dc524ebc446c6657b14c22e3a69ba8fa.png)

---

<div class="post-metadata">

**Author:** ![gerhard](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/gerhard/32/119479_2.png) [@gerhard](https://meta.discourse.org/u/gerhard)\
**Post date:** [2019年十一月13日 10:41 UTC](https://meta.discourse.org/t/crawlers-in-a-private-forum/133273/2 "2019-11-13T10:41:14Z")

</div>

存在一个导致移动应用被识别为爬虫的漏洞。

> <https://github.com/discourse/discourse/commit/74869b8a7f49aa634d1a2dac740eed45eca72c5a>
>
> Followup to a4eb523a

---

<div class="post-metadata">

**Author:** ![codinghorror](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/codinghorror/32/110067_2.png) [@codinghorror](https://meta.discourse.org/u/codinghorror)\
**Post date:** [2019年十一月16日 03:27 UTC](https://meta.discourse.org/t/crawlers-in-a-private-forum/133273/3 "2019-11-16T03:27:34Z")

</div>


