I crawler sono molto alti?

Puoi vedere chi è:

/admin/reports/web_crawlers

E aggiungerli qui:

admin/site_settings/category/all_results?filter=crawler user agents