# MegaIndex bot一天进行了约4000次页面浏览 **URL:** \ **Category:** Community Building\ **Created:** [2022年二月10日 22:35 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824 "2022-02-10T22:35:19Z")\ **Posts on this page:** 1\ **Showing post:** 17
**Author:** ![EricGT](https://avatars.discourse-cdn.com/v4/letter/e/f1d935/32.png) [@EricGT](https://meta.discourse.org/u/EricGT)\ **Post date:** [2022年八月13日 12:21 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/17 "2022-08-13T12:21:49Z")
更新：2022年8月13日 机器人于2022年8月4日再次访问了我们的网站（[爬虫网站](https://www.megaindex.ru/)） 报告：综合浏览量 ![image](https://global.discourse-cdn.com/meta/original/4X/3/3/c/33c22e2fc60368bbf2ec5e1c4e1ed909fa08fec6.png) 报告：网络爬虫用户代理 ![image](https://global.discourse-cdn.com/meta/original/4X/9/f/5/9f56b11f9857b1fe8f5a4c57c8830eeec8e56dad.png) 报告：热门流量来源 ![image](https://global.discourse-cdn.com/meta/original/4X/2/2/9/2296ded0a06cffae1f9bc6dc2dfbdb221aaa422a.png) 显然，让 [MegaIndex.ru/2.0](http://MegaIndex.ru/2.0) 机器人索引该网站并没有为该网站带来流量。 注意：据我所知，[yandex.ru](http://yandex.ru) 与 [Megaindex.ru](http://Megaindex.ru) 不同。 * * * 要阻止爬虫，可以使用 [robots.txt](https://developers.google.com/search/docs/advanced/robots/intro)，如所述 > [@How to disable indexing by crawlers](https://meta.discourse.org/t/how-to-disable-indexing-by-crawlers/39267/3?u=ericgt): > > There is a boolean site setting for this, search for “index” or “robots”. https:///admin/customize/robots 但并非所有爬虫都会遵守 robots.txt。 🙁 * * * 如 [IAmGav](https://meta.discourse.org/u/IAmGav) 在[上面](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/2?u=ericgt)所述，还有其他爬虫设置。 ![image](https://global.discourse-cdn.com/meta/original/4X/0/8/5/0854a520c416f6cf0b42b528dfd230c1e15e98bd.png) --- _[View the full topic](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824)._