Crawler-mania - ¿qué pasó allí?

¿Cómo sumergirse y ver qué sucedió allí?

Puedes encontrar información detallada sobre qué bots están rastreando tu sitio en el informe de rastreadores web en /admin/reports/web_crawlers.

Una vez que lo revises allí, puedes bloquear rastreadores específicos de tu sitio agregándolos a la configuración del sitio blocked crawler user agents. Esa configuración acepta una palabra que no distingue entre mayúsculas y minúsculas y que existe en la cadena del user agent. Por ejemplo, para bloquear el user agent rogerbot, agrega rogerbot a la configuración.

Gracias

La mayoría de las visitas provienen de un tipo de archivo web danés bajo la Biblioteca Real de Dinamarca

Parece bastante justo :slight_smile:

https://en.statsbiblioteket.dk/national-library-division/netarchive

No queremos bloquear esa iniciativa…