Tente estas duas maneiras conforme postado por @awesomerobot. O segundo método deve resolver alguns para você. (O que me lembra de adicionar mais alguns à minha lista de user agents de crawlers bloqueados.)
user agents de crawlers bloqueados