爬虫狂潮——那里发生了什么?

如何深入查看那里发生了什么?

您可以在 /admin/reports/web_crawlers 的网页爬虫报告中找到关于哪些机器人正在抓取您网站的详细信息。

查看该报告后,您可以通过将特定爬虫添加到“阻止的爬虫用户代理”站点设置来阻止它们访问您的网站。该设置接受用户代理字符串中存在的、不区分大小写的单词。例如,要阻止 rogerbot 用户代理,请将 rogerbot 添加到该设置中。

谢谢

大部分访问来自丹麦国家图书馆下属的丹麦网络档案馆。

看起来挺合理的:slight_smile

https://en.statsbiblioteket.dk/national-library-division/netarchive

不想阻止这项倡议…