Если ваш сайт является публичным и SEO имеет для вас значение, то любой бот, который добавляет ваши данные в полезный индекс, является «важным». Посмотрите на источники трафика и сравните их с ботами — есть ли какая-либо корреляция?
Белый список ботов может быть здесь лучшим решением, верно?