Ich denke, der Wert ist zu hoch. Ist da etwas falsch?
Sie können sehen, wer es ist:
/admin/reports/web_crawlers
Und sie hier hinzufügen:
admin/site_settings/category/all_results?filter=crawler user agents
Aufgrund der Änderungen im Verhalten von Google bezüglich der robots.txt-Datei gab es in letzter Zeit viele Schwankungen bei den Crawling-Regeln, daher könnte dies normal sein.
Ok, vielen Dank.
Wie Ihre Daten zeigen, gibt es einen betrügerischen Crawler! Blockieren Sie ihn über Ihre Seiteneinstellungen.