Привет, команда,
В панели управления сообществом я вижу, что на сайт заходит множество роботов-краулеров. Я не могу определить, кто они и как сюда попали.
Кто эти посетители?
Как можно проанализировать их активность и понять, какие именно действия они выполняют?
Как их отслеживать?
Пожалуйста, предоставьте мне эту информацию.
Хорошего дня!
Спасибо.
Видьяранджан
Здравствуйте, Видьяранджан,
Попробуйте проверить /admin/reports/web_crawlers для получения подробного отчета о краулерах. Затем вы можете заблокировать тех из них, которые, по вашему мнению, не приносят пользы, добавив их в настройку сайта «blocked crawler user agents». Эта настройка принимает слово без учета регистра, которое присутствует в строке user agent.
Извините, что поднимаю эту тему, но я так и не нашёл того, что искал. Во-первых, статистика краулеров на странице отчётов предоставляет информацию о количестве просмотров страниц краулерами и их пользовательских агентах, но почти ничего не говорит о том, что делать с этими данными. В целом краулеры для меня не проблема, но резкие всплески доступа краулеров делают статистику на панели управления практически бесполезной.
Как видите, один всплеск 16 декабря привёл к такому сжатию всех графиков, что их стало трудно читать. К тому же, какую ценность вообще имеет эта информация? Никакую. Это был день сбоя в работе Google на прошлой неделе, так что, вероятно, как только Google восстановил работу, все эти краулеры резко увеличили свою активность. И что с того?
Так вот мой вопрос: могу ли я исключить краулеров из основной статистики на панели администратора?
ага, большое спасибо, я даже не знал, что на это можно нажимать
