# 爬虫狂潮——那里发生了什么？

**URL:** https://meta.discourse.org/t/crawler-mania-what-happened-there/176428
**Category:** Support
**Created:** [2021 年1 月 18 日 09:39 UTC](https://meta.discourse.org/t/crawler-mania-what-happened-there/176428 "2021-01-18T09:39:38Z")
**Posts on this page:** 4
**Page:** 1

<div class="post-metadata">

### 作者： ![frold](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/frold/32/82547_2.png) [@frold](https://meta.discourse.org/u/frold)
#### 发布日期： [2021 年1 月 18 日 09:39 UTC](https://meta.discourse.org/t/crawler-mania-what-happened-there/176428/1 "2021-01-18T09:39:38Z")

</div>

如何深入查看那里发生了什么？

 ![Skærmbillede 2021-01-18 kl. 10.38.57](https://global.discourse-cdn.com/meta/original/3X/b/0/b045522f0fe05b61a159697a105cbe2583b8e117.png)

---

<div class="post-metadata">

### 作者： ![osioke](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/osioke/32/238946_2.png) [@osioke](https://meta.discourse.org/u/osioke)
#### 发布日期： [2021 年1 月 18 日 10:29 UTC](https://meta.discourse.org/t/crawler-mania-what-happened-there/176428/2 "2021-01-18T10:29:43Z")

</div>

您可以在 /admin/reports/web\_crawlers 的网页爬虫报告中找到关于哪些机器人正在抓取您网站的详细信息。

查看该报告后，您可以通过将特定爬虫添加到“阻止的爬虫用户代理”站点设置来阻止它们访问您的网站。该设置接受用户代理字符串中存在的、不区分大小写的单词。例如，要阻止 `rogerbot` 用户代理，请将 `rogerbot` 添加到该设置中。

---

<div class="post-metadata">

### 作者： ![frold](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/frold/32/82547_2.png) [@frold](https://meta.discourse.org/u/frold)
#### 发布日期： [2021 年1 月 18 日 10:54 UTC](https://meta.discourse.org/t/crawler-mania-what-happened-there/176428/3 "2021-01-18T10:54:21Z")

</div>

谢谢

大部分访问来自丹麦国家图书馆下属的丹麦网络档案馆。

看起来挺合理的：slight\_smile

[https://en.statsbiblioteket.dk/national-library-division/netarchive](https://en.statsbiblioteket.dk/national-library-division/netarchive)

不想阻止这项倡议…

 ![Skærmbillede 2021-01-18 kl. 11.51.45](https://global.discourse-cdn.com/meta/original/3X/2/6/26ee59b03e4c25a977dfa53f723ee5a112639057.png)

---

<div class="post-metadata">

### 作者： ![system](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/system/32/443519_2.png) [@system](https://meta.discourse.org/u/system)
#### 发布日期： [2021 年2 月 17 日 10:54 UTC](https://meta.discourse.org/t/crawler-mania-what-happened-there/176428/4 "2021-02-17T10:54:23Z")

</div>

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.