# Просмотры страниц от анонимных пользователей резко выросли, но Google Analytics не показывает роста трафика. Как узнать, откуда пришел этот рост? **URL:** \ **Category:** Data & reporting\ **Created:** [21.Декабрь.2020 06:43:19 UTC](https://meta.discourse.org/t/pageviews-from-anonymous-users-have-exploded-but-google-analytics-showed-no-traffic-growth-how-to-find-about-where-the-increase-come-from/173892 "2020-12-21T06:43:19Z")\ **Posts on this page:** 1\ **Showing post:** 10
**Author:** ![neounix](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/neounix/32/215617_2.png) [@neounix](https://meta.discourse.org/u/neounix)\ **Post date:** [23.Декабрь.2020 01:07:48 UTC](https://meta.discourse.org/t/pageviews-from-anonymous-users-have-exploded-but-google-analytics-showed-no-traffic-growth-how-to-find-about-where-the-increase-come-from/173892/10 "2020-12-23T01:07:48Z")
> [@codinghorror](#): > > Это неверно, основываясь на 7 годах работы нашего хостинг-бизнеса. Я уверен, что вредоносные боты существуют, но они далеко не распространены. Привет, Джефф! Тогда вам повезло! Я прикрепил статью из ResearchGate под названием «Виртуализированное киберпространство — Визуализация паттернов и аномалий для когнитивной кибербезопасности», в которой показаны части описанной мной проблемы! Кроме того, для информации, вот наш «краткий» список частичных строк User Agent, которые НЕ соблюдают robots.txt и сканируют наши сайты (обновлено): ```plaintext AddThis|OPPO A33|Mb2345Browser|UCBrowser|MQQBrowser|MicroMessenger|LieBaoFast|Clickagy|DotBot|Linespider|Applebot|Ask Jeeves|Baiduspider|ADmantX|Spinn3r|rogerbot|YesupBot|ValueClick|Twitterbot|FriendFeedBot|Squider|ContextAd|Voyager|Chattertrap|YandexBot|bingbot|Virtual Reach NewsclipCollector|FlipboardProxy|Flipboard|proximic|YahooFeedSeeker|Xenu|TwitterFeed|GrapeshotCrawler|NewsGatorOnline|Sosospider|OpenISearch|discobot|EasouSpider|FeedDemon|YottaaMonitor|CacheSystem|UnwindFetchor|JikeSpider|Konqueror|Superfeedr|Nachobot|percbotspider|WeSEE:Search|Cliqzbot|Exabot|Wget|TweetedTimes|YoudaoBot|stumbleupon|omgili|BoardReader|Gigabot|trendictionbot|InAGist|DoCoMo|PaperLiBot|YisouSpider|TweetmemeBot|libwww-perl|YandexDirect|CrystalSemanticsBot|httrack|msnbot-UDiscovery|MaxPointCrawler|CrystalSemanticsBot|W3C_Validator|magpie-crawler|Flipboard|flipboa|PostRank|Chrome-Lighthouse|Summify|Sogou|archive.org| UptimeRobot|robot|A6-Indexer|ShowyouBot|crawler|Genieo|Apache-HttpClient|curl|Technoratibot|Feedbin|SensikaBot|SiteExplorer|Digg|Yahoo Pipes|QuerySeekerSpider|Alamofire|AhrefsBot|SeznamBot|Kraken|BomboraBot ``` Приведённый выше список лишь частичный и давно не обновлялся, поэтому он не «идеален» и довольно «устарел»… 🙂 Наш прямой опыт за два десятилетия, включая написание большого количества кода для обнаружения ботов и визуализации (а также публикацию ряда статей, видео и презентаций по этой теме), показывает, что лишь горстка ботов соблюдает `robots.txt`, и те, кто это делает, принадлежат крупным компаниям, таким как Google, Bing (Microsoft) и т.д. Самые агрессивные боты подделывают свою строку User Agent, чтобы выглядеть как «не-боты». Более того, самые злостные нарушители — это боты из Китая, России и Кореи; у нас есть плагин для наших устаревших форумов, который обнаруживает этих вредоносных ботов с помощью техники «горшочка с мёдом» (honey pot) и других поведенческих паттернов. Результаты вы можете увидеть в прикреплённой статье, где есть красивые цветные изображения ботов в киберпространстве. Например, исходя из нашего опыта и прямых исследований в области визуализации кибербезопасности, все боты, перечисленные в robots.txt по умолчанию для Discourse, не соблюдают robots.txt, включая DotBot, semrushbot и ahrefsbot (у нас была очень большая проблема с ahrefsbot, которая освещена в другой презентации, см. иллюстрацию): ![Screen Shot 2020-12-23 at 8.23.20 AM](https://global.discourse-cdn.com/meta/original/3X/6/5/65754b2cf532793ee8fbf340a2655a13b1435440.jpeg) ```plaintext User-agent: DotBot Disallow: / User-agent: mauibot Disallow: / User-agent: semrushbot Disallow: / User-agent: ahrefsbot Disallow: / User-agent: blexbot Disallow: / User-agent: seo spider Disallow: / ``` В далёком прошлом мы перечисляли этих ботов (и до сих пор делаем это) в `robots.txt` (плюс многие другие!), и обнаружили, что «почти ноль» из перечисленных выше ботов соблюдают директивы robots.txt. Вам очень повезло, если ваш хостинг-сайт имеет иной опыт! Мы провели обширное тестирование и написали много кода для визуализации, и мы точно знаем, основываясь на рецензируемых исследованиях, что большинство ботов не соблюдают robots.txt, и лишь горстка ботов от «ведущих технологических компаний» это делает. Хотя эта наша статья (ниже) не перечисляет всех ботов, она даёт пример того, насколько подробно мы тестировали и писали код (в игровом движке Unity и на платформах LAMP) в этой области: [https://www.researchgate.net/publication/320008976\_Virtualized\_Cyberspace\_-\_Visualizing\_Patterns\_Anomalies\_for\_Cognitive\_Cyber\_Situational\_Awareness](https://www.researchgate.net/publication/320008976_Virtualized_Cyberspace_-_Visualizing_Patterns_Anomalies_for_Cognitive_Cyber_Situational_Awareness) Также приложил эту статью в качестве ссылки, так что нет необходимости скачивать её с ResearchGate. Наслаждайтесь! [Virtualized\_Cyberspace\_-\_Visualizing\_Patterns\_Anom.pdf](https://meta.discourse.org/uploads/short-url/uVnQ05WTsx8qHGOYzf6eQrRDFFm.pdf) (2.0 MB) PS: Я планирую в 2021 году перенести много своего устаревшего кода обнаружения ботов с LAMP на Rails, если будет время! Также см.: [https://www.researchgate.net/publication/314356740\_Patterns\_Anomalies\_in\_Cyberspace](https://www.researchgate.net/publication/314356740_Patterns_Anomalies_in_Cyberspace) (также приложено ниже) [anomalies\_cyberspace\_v01.pdf](https://meta.discourse.org/uploads/short-url/pz5MlLlpUjG8NtC3a5MNWrQ4Mxd.pdf) (3.3 MB) Пример графика из презентации, показывающий более 200 китайских ботов Baidu, маскирующихся под обычных пользователей (используя нормальную строку User Agent, а не «бот-строку»), которые сканируют сайт с IP-адресов Бразилии (а не Китая). ![Screen Shot 2020-12-23 at 8.27.08 AM](https://global.discourse-cdn.com/meta/original/3X/b/0/b0ebc7fa31a8e363039552489392dd2751d1506f.jpeg) --- _[View the full topic](https://meta.discourse.org/t/pageviews-from-anonymous-users-have-exploded-but-google-analytics-showed-no-traffic-growth-how-to-find-about-where-the-increase-come-from/173892)._