Да, конечно, я забыл уточнить, что я занимаюсь управлением очистки: анализирую каждый краулер отдельно, почти еженедельно, чтобы выявить, какой из них больше всего вторгается на сайт, и блокирую их по одному.
Меня беспокоит, что добавление стольких ботов в чёрный список каким-то образом может повлиять на производительность сайта.
Поэтому я подумал, что, возможно, вместо блокировки по одному, лучшим решением будет добавить обязательных ботов в белый список и заблокировать всех остальных. Но… существуют ли вообще «обязательные» трекеры?
Я искал на форуме обсуждение, «посвящённое» обязательным краулерам, но не нашёл его. Если вы знаете тему, связанную с этим, пожалуйста, дайте мне знать.