¿Cómo sumergirse y ver qué sucedió allí?
Puedes encontrar información detallada sobre qué bots están rastreando tu sitio en el informe de rastreadores web en /admin/reports/web_crawlers.
Una vez que lo revises allí, puedes bloquear rastreadores específicos de tu sitio agregándolos a la configuración del sitio blocked crawler user agents. Esa configuración acepta una palabra que no distingue entre mayúsculas y minúsculas y que existe en la cadena del user agent. Por ejemplo, para bloquear el user agent rogerbot, agrega rogerbot a la configuración.
Gracias
La mayoría de las visitas provienen de un tipo de archivo web danés bajo la Biblioteca Real de Dinamarca
Parece bastante justo ![]()
https://en.statsbiblioteket.dk/national-library-division/netarchive
No queremos bloquear esa iniciativa…

