Ce n’est pas vraiment un bug, mais plutôt une tentative de rassembler plus d’informations sur ce qui semble être un scraper IA agressif.
Dans mon tableau de bord d’analyse Cloudflare, je vois que 60 % des requêtes HTTP proviennent d’un user-agent contenant « Discourse » dans son nom, notamment : lfc-discourse-public-crawler. Le user-agent complet est lfc-discourse-public-crawler/0.1 (+public Discourse API archival crawl). Je n’ai jamais vu ce user-agent auparavant.
Informations supplémentaires :
N’accède qu’à la version .json d’un sujet.
Il semble fonctionner depuis Singapour.
L’adresse IP renvoie vers speedypage.com.
Navigateur : inconnu/autres.
OS : inconnu/autres.
Et il ne semble pas être affilié à Discourse. Mais avec un nom comme celui-là, il est peut-être bon que vous en soyez également informé.
Merci @awesomerobot. Il est tout à fait possible que cet outil soit utilisé ici. Comme je n’archive rien avec un tel outil, il semble que quelqu’un d’autre soit en train de (ou tente de) copier l’ensemble de mon contenu.
Pour tenter de mettre fin à cette situation, j’ai bloqué l’agent utilisateur via robots.txt. J’ai également bloqué toutes les requêtes provenant de Singapour. Je réévaluerai la situation dans sept jours.
robots.txt n’est qu’une suggestion polie. Il n’empêche rien en soi. Mais si un user agent respecte ces règles, cela indique que ce bot n’est pas particulièrement malveillant.
Nous devrions effectuer de telles opérations au niveau de nginx
