Demasiados Crawlers, ¿es eso un problema?

Hola, en nuestro foro tenemos demasiados rastreadores; ¡el promedio es de entre 81 mil y 90 mil! ¿Eso causará algún problema? Si es así, ¿cómo puedo desactivar los rastreadores maliciosos para que no rastreen?

He listado los agentes de usuario de rastreadores en la lista negra como:

  • mauibot
  • semrushbot
  • ahrefsbot
  • blexbot
  • SEO spider

y he ralentizado los agentes de usuario de rastreadores como:

  • bingbot

Gracias.

Puedes ver números detallados por rastreador si visitas

your.site.com/admin/reports/web_crawlers

Si detectas un rastreador inusual que está causando problemas, puedes agregar una cadena única de su agente de usuario a la configuración blacklisted_crawler_user_agents y será bloqueado.

Gracias por la respuesta rápida. He visto que un rastreador tiene 1.695.285 visualizaciones; ¿es eso normal o no?

Además, tengo otra pregunta: ¿cómo puedo agregar el botón solución en mi foro? ¿Necesito instalar algún complemento?

Gracias.

Bueno, eso depende del tamaño de tu sitio y del agente de usuario de ese rastreador. Por ejemplo, no quieres bloquear a Googlebot.

Echa un vistazo aquí

¿Cuáles son los bots que no se deben bloquear? ¿Y existe alguna forma de encontrar el nombre de los bots desde los paneles de visualización consolidada de vistas de página?

Solo debes bloquear a los bots que están causando problemas y dejar todo lo demás sin bloquear.

Como mencioné en mi publicación anterior. Si vas a

your.site.com/admin/reports/web_crawlers

Obtendrás una lista completa de todos los rastreadores en tu sitio y el número de vistas de página por rastreador. ¿Podrías hacer una captura de pantalla de esa página y publicarla aquí?

¡Aquí está!