Tuve 2 ocasiones de picos, el 8 y 18 de enero, ambas veces de Yandex, el rastreador web ruso. Ambas veces los intentos de rastreo aumentaron más del doble. El mayor espía a lo largo del tiempo es petalbot de PetalSearch.com. Tuvieron entre 4 y 6 veces más escaneos que Yandex y otros bots.
1 me gusta
1 me gusta
Otro bot que resulta en un valor atípico de vistas excesivas de páginas en un solo día.
Fecha: 2023-02-23
1 me gusta
Parece que creen que son legítimos, claramente equivocados
1 me gusta
Otro bot que resulta en un valor atípico de vistas excesivas de páginas en un solo día.
Fecha: 2023-05-04
1 me gusta
A veces, esos ataques son de bots legítimos. A veces… de otra cosa. Las direcciones IP a menudo revelan la verdad.
De todos modos, son totalmente inútiles y básicamente solo roban contenido y nunca devuelven nada. La única forma de detenerlos es con un proxy inverso. Pero, hasta donde sé, la situación es buena con Discourse porque no aumentaron tanto la carga. En el mundo de WordPress, tal situación podría poner un sitio web fuera de servicio.
2 Me gusta
¡Gracias por respaldar mi argumento!
1 me gusta
¿Cómo ves esto?
1 me gusta
Parece uno de los informes estándar. Deberías poder encontrar el tuyo en /admin/reports/web_crawlers 
3 Me gusta
Resumen de IA:
La discusión trata sobre picos en las visitas a páginas de bots rastreadores web en sitios de Discourse. Algunos bots que se identificaron como causantes de grandes picos en las visitas a páginas incluyen:
- Bot MegaIndex: realizó alrededor de 4.000 visitas a páginas en un día
- MJ12bot: realizó más de 5.000 visitas a páginas en un día
- Bot Seekport: causó picos en múltiples ocasiones
- Bot Yandex: hizo que las visitas a páginas se duplicaran con creces en dos ocasiones
- PetalBot de PetalSearch.com: realizó de 4 a 6 veces más escaneos de páginas que otros bots
- Bot DataForSEO: causó un pico de más de 15.000 visitas a páginas en un día
Estos picos a veces pueden causar problemas de rendimiento. Las formas de limitar el tráfico de bots incluyen el uso de robots.txt, aunque no todos los bots lo respetan. Otras opciones son el bloqueo a nivel de servidor y el uso de un proxy inverso. Los bots son vistos como “robo de contenido” sin aportar valor.
1 me gusta
@Bas
Publicaste un resumen generado por IA aquí, en respuesta a una solicitud mía, y ahora ha desaparecido.
¿Lo eliminaste?
Ah sí, lo hice, porque tu solicitud original también fue eliminada 
Ahora la he restaurado.
Gracias.
Tiendo a eliminar las respuestas que después de un tiempo ya no aportan valor a la lectura del tema, pero que no dejan vacíos en el mismo. Como se trataba de una solicitud simple y tú creaste el resumen, no había necesidad de que otros leyeran la solicitud cada vez que visitaban este tema.
Es un hábito que adquirí en los sitios de StackExchange, donde dejaba comentarios y luego los borraba. También hay otros comentarios más útiles que creé para mí y para otros, pero que no estaban directamente relacionados con el tema y que comenzaban con De interés. Probablemente tengo unos cuantos cientos de comentarios de este tipo en los sitios de StackExchange. Realmente quería algo así para Discourse, pero la sugerencia nunca ganó tracción.
1 me gusta
Al revisar las visitas a nuestro sitio, las visualizaciones de página fueron extremadamente inusuales. Mirando la descripción general de alto nivel
el exceso comienza el 23/10/2023 con lo que supongo es un usuario anónimo.
Una revisión de
muestra que el aumento se debe a algunos bots que no reconocí de inmediato
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
Solo paso esta información ya que puede ser de valor para usted.
2 Me gusta
A mí también me está pasando
3 Me gusta
Creo que hemos visto un par de casos de esto. Parece que es un rastreador que no dice que es un rastreador, por lo que se cuenta como vistas ‘anónimas’.
1 me gusta
(Edición del autor: esta publicación era originalmente un nuevo hilo, ahora fusionado aquí, lo cual está bien. El título era “Curiosidad: gran reducción en las visitas de rastreadores desde principios de noviembre (2023)”)
No creo que nada haya cambiado de mi lado en este momento:
¿Alguien más ve algo similar?
No hay un gran intercambio de números entre Anon y Crawler, por lo que no es un cambio de categorización.
3 Me gusta
Sí
Échale un vistazo a este tema y específicamente a esta publicación
Dado que publicaste un informe de Páginas vistas consolidadas, supongo que tienes acceso de administrador.
/admin/reports/consolidated_page_views
también haz uso de
/admin/reports/web_crawlers
para identificar qué rastreador web está generando las páginas vistas.
Como algunos de nosotros hemos descubierto, estos bots aparecieron recientemente y están causando los altos números
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
1 me gusta
Ah sí, había visto ese tema, que trataba sobre aumentos. Pero, efectivamente, los tres fueron responsables de los altos números; después del día 8, todos se han ido y hemos vuelto a una especie de nivel base. Lo que explica la disminución.
(Moderadores: está bien pegar este hilo al final de ese). (Edición: ¡gracias moderadores!)
3 Me gusta