El panel de administración ahora puede identificar el tráfico probable de rastreadores —bots automatizados y scrapers que utilizan JavaScript de navegador real pero no son visitantes humanos— y separar esas vistas de página de sus métricas de tráfico genuino.
En este tema, compartiremos cómo hemos abordado la identificación de este tráfico y cómo puede activar esta función hoy mismo.
Qué ha cambiado
Discourse siempre ha filtrado los Crawlers que se identifican con user agents de bot estándar (como Googlebot) en una categoría separada de los datos de tráfico del sitio. Pero el tráfico automatizado moderno es más astuto: ejecuta un navegador completo, ejecuta JavaScript y se integra en sus datos de vistas de página como si fuera una visita real. Los administradores veían picos de tráfico en las vistas de página Anónimas que resultaban ser scrapers, o recuentos de visitantes inflados por bots de IA —sin poder distinguir entre ellos y el tráfico humano realmente anónimo (es decir, no conectado).
Esta actualización añade una categoría Probables rastreadores a los datos de tráfico de su sitio. Cuando se activa la detección mejorada de rastreadores, las vistas de página que nuestras heurísticas marcan como probablemente automatizadas se separan, por lo que sus cifras de tráfico humano son más precisas.
Cómo funciona la detección
El sistema puntúa cada vista de página del navegador utilizando un conjunto de señales de comportamiento:
- User agent de automatización — el UA nombra explícitamente un navegador headless o una herramienta de automatización (HeadlessChrome, Playwright, Puppeteer, Selenium, PhantomJS, jsdom)
- ASN de rastreador verificado — el número de sistema autónomo (ASN) de la IP corresponde a una red de rastreadores conocida (Baidu, Ahrefs, Yandex, Internet Archive, etc.)
- ASN de centro de datos — la IP está en el espacio de direcciones de un importante proveedor de nube o alojamiento
- Velocidad — la IP + user agent genera un número inusualmente alto de vistas de página por hora
- Navegación rápida — la brecha mediana entre vistas de página es inferior a 5 segundos
- Rotación de sesión — muchas sesiones cortas (mayormente de una página cada una) desde la misma IP + user agent
- Falta de interacción — no hay interacción humana registrada (movimiento del ratón, pulsaciones de teclas, desplazamiento) para una sesión y sus vecinas. Esta señal tiene más peso para el tráfico anónimo que para el tráfico conectado.
- Proporción incorrecta de referencia — la mayoría de las vistas de página llegan sin referencia o con una externa, lo que sugiere acceso directo a la URL en lugar de navegación a través del sitio
- Solicitud directa única — una única vista de página sin interacción y sin referencia; puntúa más alto si la URL lleva un parámetro de configuración regional
- Rotación rápida de IP — múltiples IPs utilizadas dentro de una misma sesión, que cambian más rápido de lo que lo haría un humano
- Chromium obsoleto — una versión desactualizada de Chrome sin señales de interacción
- Tráfico distribuido — algunos rastreadores rotan direcciones IP e inician una nueva sesión para casi cada vista de página. Ahora buscamos patrones en visitas anónimas que comparten un user agent y ya sea una red o una fuente de referencia externa
Las puntuaciones de múltiples señales se acumulan; cuando una vista de página tiene una cierta cantidad de las señales anteriores, la clasificamos como probable rastreador.
Activar la detección mejorada de rastreadores en su comunidad
Por ahora, esto se considera un cambio experimental. Seguimos ajustando las heurísticas de detección y agradecemos sus comentarios.
Para activarlo, diríjase a la página Próximos cambios en su área de administración y busque el elemento Detección mejorada de rastreadores. Actualice el campo Habilitado para… para incluir su sitio.
Una vez activado, la sección Tráfico del sitio de su panel de administración mostrará los probables rastreadores como una categoría separada.
Notas importantes:
- Esto no es una ciencia exacta y seguiremos perfeccionando nuestras heurísticas con el tiempo. Sin embargo, no realizaremos retroalimentación (backfill) a medida que actualicemos estos cálculos.
- Clasificar una vista de página como probable rastreador no rechaza ni limita la tasa de solicitud.
- Las vistas de página de probables rastreadores se excluyen de referencias, países y otros desgloses de tráfico — de la misma manera que se manejan hoy los rastreadores conocidos.
- Los cambios en las reglas de detección no reprocesan automáticamente todo el tráfico histórico.
¿Qué piensa usted?
Nos encantaría recibir sus comentarios — especialmente de comunidades que hayan notado patrones de tráfico inusuales o picos inexplicables. ¿Le parecen correctas las cifras para su sitio? ¿Hay visitas marcadas que a usted le parecen usuarios reales? Comparta lo que está viendo en este tema.
