Non si tratta tanto di un bug, quanto di un tentativo di raccogliere ulteriori informazioni su quello che sembra essere un crawler AI aggressivo.
Nel mio pannello di analisi di Cloudflare, vedo che il 60% delle richieste HTTP proviene da un user-agent con “Discourse” nel nome, in particolare: lfc-discourse-public-crawler. L’user-agent completo è lfc-discourse-public-crawler/0.1 (+public Discourse API archival crawl). Non ho mai visto questo user-agent prima d’ora.
Informazioni aggiuntive:
Accede solo alla versione .json di un argomento.
Sembra operare da Singapore.
L’IP rimanda a speedypage.com.
Browser: sconosciuto/altro.
OS: sconosciuto/altro.
E non sembra essere affiliato a Discourse. Ma con un nome del genere, forse è meglio che ne sia anche a conoscenza.
Grazie @awesomerobot. Questo potrebbe effettivamente essere lo strumento utilizzato qui. Poiché non sto archiviando nulla con uno strumento del genere, sembra che qualcun altro stia creando (o tentando di creare) una copia di tutto il mio contenuto.
Come misura per cercare di fermare questo fenomeno, ho bloccato l’user-agent tramite robots.txt. Ho anche bloccato tutte le richieste provenienti da Singapore. Rivaluterò la situazione dopo sette giorni.
robots.txt è solo un suggerimento gentile. Di per sé non blocca nulla. Ma se un user agent segue quelle regole, indica che quel bot non è particolarmente malizioso.
Dovremmo eseguire queste operazioni a livello di nginx
