Esto no es tanto un error, sino más bien un intento por averiguar más información sobre lo que parece ser un rastreador de IA agresivo.
En mi panel de análisis de Cloudflare, veo que el 60 % de las solicitudes HTTP provienen de un agente de usuario con «Discourse» en el nombre, notablemente: lfc-discourse-public-crawler. El agente de usuario completo es lfc-discourse-public-crawler/0.1 (+public Discourse API archival crawl). Nunca he visto este agente de usuario antes.
Información adicional:
Solo accede a la versión .json de un tema.
Parece estar operando desde Singapur.
La dirección IP remite a speedypage.com.
Navegador: desconocido/otros.
SO: desconocido/otros.
Y no parece estar afiliado con Discourse. Pero con un nombre como ese, quizás sea bueno que también estén al tanto de esto.
Gracias @awesomerobot. Esta podría ser, en efecto, la herramienta que se está utilizando aquí. Dado que no estoy archivando nada con esta herramienta, parece que alguien más está intentando hacer (o está haciendo) una copia de todo mi contenido.
Como medida para intentar detener esto, he bloqueado el agente de usuario a través de robots.txt. También he bloqueado todas las solicitudes procedentes de Singapur. Reevaluaré la situación en siete días.
robots.txt es solo una sugerencia cortés. No detiene nada por sí mismo. Pero si un agente de usuario sigue esas reglas, indica que ese bot no es particularmente malicioso.
Deberíamos realizar estas operaciones a nivel de nginx
