Se seu site é público e o SEO tem valor para você, então qualquer bot que adicione seus dados a um índice útil é “essencial”. Analise suas fontes de tráfego e compare com os bots; há alguma correlação?
Uma lista branca de bots pode ser a melhor solução aqui, não é?