Olá, em nosso fórum temos muitos crawlers demais, uma média de 81 mil a 90 mil! Isso vai causar algum problema? Se sim, como posso desativar os crawlers ruins de acessar o site?
Listei os user agents dos crawlers na blacklist como:
E também diminuí a velocidade de acesso dos user agents dos crawlers como:
Obrigado.
Você pode ver números detalhados por crawler se visitar
your.site.com/admin/reports/web_crawlers
Se você detectar um crawler incomum que está se comportando de forma inadequada, pode adicionar uma string exclusiva do seu user agent à configuração blacklisted_crawler_user_agents e ele será bloqueado.
Obrigado pela rápida resposta. Percebi que um rastreador tem 1.695.285 visualizações; isso é normal ou não?
Além disso, tenho mais uma pergunta: como posso adicionar o botão solução no meu fórum? Preciso instalar algum plugin?
Obrigado.
Bem, isso depende do tamanho do seu site e do agente de usuário desse rastreador. Por exemplo, você não quer bloquear o Googlebot.
Dê uma olhada aqui
Quais são os bots que não devem ser bloqueados? E existe alguma maneira de encontrar o nome dos bots a partir dos painéis de visualização consolidada de páginas?
Você deve bloquear apenas os bots que estão se comportando mal e deixar tudo o mais desbloqueado.
Como mencionei em minha postagem anterior. Se você for para
your.site.com/admin/reports/web_crawlers
Você obterá uma lista completa de todos os crawlers no seu site e o número de visualizações de página por crawler. Você pode tirar uma captura de tela dessa página e postá-la aqui?
