Crawler-mania - o que aconteceu lá?

Como mergulhar e ver o que aconteceu lá?

Você pode encontrar informações detalhadas sobre quais bots estão rastreando seu site no relatório do rastreador web em /admin/reports/web_crawlers.

Depois de verificar lá, você pode bloquear rastreadores específicos do seu site adicionando-os à configuração do site blocked crawler user agents. Essa configuração aceita uma palavra que existe na string do user agent, sem distinção de maiúsculas e minúsculas. Por exemplo, para bloquear o user agent rogerbot, adicione rogerbot à configuração.

Obrigado

A maioria das visitas veio de um tipo de arquivo da web dinamarquês sob a Biblioteca Real Dinamarquesa

Parece bastante justo :slight_smile:

https://en.statsbiblioteket.dk/national-library-division/netarchive

Não quero bloquear essa iniciativa…