Posso ignorare alcuni user agent?

Dato che è registrato come crawler, prova questo