Предложение
Попросить ИИ выявлять веб-краулеры, которые регулярно сканируют сайт, но не генерируют посещения, и помечать их для проверки администраторами.
Кроме того, доработать отчёт «Объединённые просмотры страниц», чтобы более детально разделить краулеры на категории:
- краулеры, генерирующие посещения;
- разовые краулеры;
- остальные.
Ежедневно или регулярно на сайты заходят множество веб-краулеров. Для таких проектов, как SWI-Prolog, они накручивают счётчик просмотров страниц, но не приносят сайту никакой пользы. Чаще всего это поисковые системы, но если поисковая система не генерирует посещения, её следует исключить из списка разрешённых для сканирования сайта.
Да, я понимаю, что идеального способа остановить плохо ведущего себя веб-краулера не существует, но сокращение количества ненужных просмотров страниц от таких краулеров в долгосрочной перспективе экономит реальные деньги и время.