Привет! На нашем форуме слишком много роботов-краулеров — в среднем от 81 000 до 90 000! Это может вызвать какие-либо проблемы? Если да, как мне отключить нежелательных краулеров?
Я добавил в чёрный список следующие user-agent краулеров:
Также замедлил работу следующих краулеров:
Спасибо.
Вы можете увидеть подробные данные по каждому роботу-индексатору, перейдя по адресу
your.site.com/admin/reports/web_crawlers
Если вы обнаружите подозрительного робота, который работает некорректно, вы можете добавить уникальную строку из его User-Agent в настройку blacklisted_crawler_user_agents, и он будет заблокирован.
Спасибо за быстрый ответ. Я заметил, что у одного из краулеров 1 695 285 просмотров — это нормально?
Ещё один вопрос: как добавить кнопку решение на мой форум? Нужно ли устанавливать какие-либо плагины?
Спасибо.
Это зависит от размера вашего сайта и user-agent этого краулера. Например, вы не хотите блокировать Googlebot.
Посмотрите здесь:
Какие боты не следует блокировать? И есть ли способ найти имена ботов в дашбордах с обобщёнными данными о просмотрах страниц?
Блокируйте только тех ботов, которые ведут себя неправильно, и оставляйте остальные без блокировки.
Как я уже упоминал в предыдущем сообщении. Если вы перейдете по адресу
your.site.com/admin/reports/web_crawlers
вы получите полный список всех краулеров на вашем сайте и количество просмотров страниц для каждого из них. Можете ли вы сделать скриншот этой страницы и опубликовать его здесь?
