Wie kann man eintauchen und sehen, was dort passiert ist?
Detaillierte Informationen darüber, welche Bots Ihre Seite durchsuchen, finden Sie im Web-Crawler-Bericht unter /admin/reports/web_crawlers.
Sobald Sie dies überprüft haben, können Sie bestimmte Crawler von Ihrer Seite blockieren, indem Sie sie zur Site-Einstellung „blocked crawler user agents“ hinzufügen. Diese Einstellung erwartet ein nicht groß-/kleinschreibungssensitives Wort, das in der User-Agent-Zeichenkette vorkommt. Um beispielsweise den User-Agent „rogerbot“ zu blockieren, fügen Sie „rogerbot“ zur Einstellung hinzu.
Danke
Die meisten Besuche kamen von einem dänischen Netzarchiv der Königlichen Dänischen Bibliothek.
Das scheint ziemlich fair zu sein 
https://en.statsbiblioteket.dk/national-library-division/netarchive
Ich möchte diese Initiative nicht blockieren…
