En otro hilo, @simon mencionó que hay una configuración para detener/bloquear rastreadores, no encuentro esta configuración, ¿cómo se hace esto? ¿Alguien sabe dónde está y cómo funciona?
Tuve un pico inusual de 48 rastreadores en mi sitio el 14 de julio, no me gustan estos bichos, ¿qué están haciendo?
Busca en la configuración del sitio “crawler”. Puedes bloquear o ralentizar por agente de usuario.
Al menos algunos indexan tu sitio para que aparezca en los motores de búsqueda. Probablemente te gusta eso.
Además, echa un vistazo al informe “Web Crawler User Agents” para obtener el nombre del rastreador que está causando el problema:
Gracias, lo encontré ahora, veo que hay cinco nombres de rastreadores bloqueados por defecto, supongo que son arañas con problemas conocidos.
Parece que hay una opción para usar una lista de permitidos para rastreadores buenos, que si se usa, deniega automáticamente la entrada a todos los demás seres insectos eléctricos, ¿no sé cuáles podrían ser los buenos?
Encontré los informes de agentes de usuario de rastreadores web, los principales son "YandexBox/3.0 y
CensysInspect/1.1
Sería bueno aparecer en algunos motores de búsqueda para los clientes que los necesiten.
He estado recibiendo muchas llamadas de empresas de marketing que cobran un servicio de suscripción por ayuda con eso y la creación de sitios web podría ser buena, pero es un poco molesto todas estas llamadas al respecto.
Cabe destacar que los agentes de usuario son totalmente fáciles de falsificar. Si es Google, puedes estar bastante seguro de que lo dirá. Pero que diga que es Google no significa nada.
(La misma situación que con robots.txt, son mecanismos que asumen confianza. Las partes no confiables simplemente pueden seguir reglas diferentes).
Impostores astutos, peores que las comadrejas:
https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html
"# Cómo comprobar que un robot pertenece a Yandex
Algunos robots pueden hacerse pasar por robots de Yandex indicando el User Agent correspondiente. Puedes comprobar la autenticidad de un robot mediante una búsqueda inversa de DNS.
Solo tienes que seguir estos pasos:
Determina la dirección IP del user agent en cuestión utilizando los registros de tu servidor.
Utiliza una búsqueda inversa de DNS de la dirección IP para determinar el nombre de dominio del host.
Comprueba si el host pertenece a Yandex. Todos los nombres de robots de Yandex terminan en yandex.ru, yandex.net o yandex.com. Si el nombre del host tiene una terminación diferente, el robot no pertenece a Yandex.
Asegúrate de que el nombre es correcto. Utiliza una búsqueda DNS directa para obtener la dirección IP correspondiente al nombre del host. Debería coincidir con la dirección IP utilizada en la búsqueda inversa de DNS. Si las direcciones IP no coinciden, significa que el nombre del host es falso."
También hay una guía aquí a la que puedes consultar:
¿Sabes si los rastreadores web como estos indexan sitios para sistemas de búsqueda por voz?
Recibo algunas llamadas automáticas todos los días sobre mi empresa que no está registrada en los principales motores de búsqueda de voz con inteligencia artificial, parece que son solo empresas de terceros las que hacen eso y no estoy seguro de si esto es legítimo.
Específicamente: cobrar un servicio de suscripción para “registrar” una empresa en la búsqueda, o ayudar a que las empresas aparezcan en la primera página de los resultados de búsqueda.
No lo sé. Lo dudo.
He interactuado con algunas personas que creo que realmente pueden ayudar con esto, algunas usando métodos legítimos. En mi opinión, parecen ser la excepción.
Tampoco sé nada sobre la búsqueda por voz, y ni siquiera quiero necesariamente que mi empresa sea indexada por ellas.
Esto es importante de recordar, especialmente en estos días, los estafadores se están volviendo más sofisticados.
Las llamadas que recibo a menudo dicen “su listado de Google ha sido marcado para revisión”, lo que sugiere que es Google quien llama, pero Google nunca llama. Algunas empresas se autodenominan “empresa asociada de Google”, no estoy seguro de lo que eso significa si es que eso existe.
Me enteré por un representante que hay aproximadamente/al menos 40 empresas diferentes que hacen esto, llaman a empresas emergentes para registrarlas en plataformas de búsqueda por voz, eso explica tantas llamadas.
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.
