Sim, claro, esqueci de esclarecer que estou gerenciando essa limpeza: crawler por crawler, com análises quase semanais para detectar qual está invadindo mais o site, e vou bloqueando um por um.
O que me preocupa é que adicionar tantos bots à lista negra possa de alguma forma afetar o desempenho do site.
Então pensei que, talvez, em vez de bloquear um por um, o melhor seria adicionar os bots essenciais à lista branca e bloquear todos os outros. Mas… existem rastreadores essenciais?
Procurei no fórum para ver se havia um debate “dedicado” a crawlers essenciais, mas não encontrei. Se você souber de algum tópico relacionado a isso, por favor, me avise.