更新：2022年8月13日
机器人于2022年8月4日再次访问了我们的网站（爬虫网站）
报告：综合浏览量
报告：网络爬虫用户代理
报告：热门流量来源
显然，让 MegaIndex.ru/2.0 机器人索引该网站并没有为该网站带来流量。
注意：据我所知，yandex.ru 与 Megaindex.ru 不同。
要阻止爬虫，可以使用 robots.txt，如所述
https:///admin/customize/robots
但并非所有爬虫都会遵守 robots.txt。 
4 个赞