Hola, en nuestro foro tenemos demasiados rastreadores; ¡el promedio es de entre 81 mil y 90 mil! ¿Eso causará algún problema? Si es así, ¿cómo puedo desactivar los rastreadores maliciosos para que no rastreen?
He listado los agentes de usuario de rastreadores en la lista negra como:
mauibot
semrushbot
ahrefsbot
blexbot
SEO spider
y he ralentizado los agentes de usuario de rastreadores como:
Puedes ver números detallados por rastreador si visitas
your.site.com/admin/reports/web_crawlers
Si detectas un rastreador inusual que está causando problemas, puedes agregar una cadena única de su agente de usuario a la configuración blacklisted_crawler_user_agents y será bloqueado.
¿Cuáles son los bots que no se deben bloquear? ¿Y existe alguna forma de encontrar el nombre de los bots desde los paneles de visualización consolidada de vistas de página?
Solo debes bloquear a los bots que están causando problemas y dejar todo lo demás sin bloquear.
Como mencioné en mi publicación anterior. Si vas a
your.site.com/admin/reports/web_crawlers
Obtendrás una lista completa de todos los rastreadores en tu sitio y el número de vistas de página por rastreador. ¿Podrías hacer una captura de pantalla de esa página y publicarla aquí?