Дополнительных действий, скорее всего, предпринимать не нужно… Такой трафик от поисковых роботов, вероятно, возникает из-за обращений к адресу community.yoursite.com/login. Если вы перейдёте по ссылке community.example.com/admin/reports/web_crawlers, сможете увидеть, как часто конкретные роботы посещают ваш сайт.
Есть несколько способов снизить количество трафика от поисковых роботов…
-
Попробуйте запретить доступ к
/loginдля поисковых роботов в файле robots.txt (community.example.com/admin/customize/robots)… Вы, вероятно, заметите снижение трафика от роботов (хотя, скорее всего, не полное, так как существуют роботы, не соблюдающие robots.txt). -
Изучите список наиболее активных роботов в разделе
/admin/reports/web_crawlersи добавьте их user-agent в настройку сайта «blocked crawler user agents».