User-agent: lfc-discourse-public-crawler

Contribuisci Bug
1

Buongiorno,

Non si tratta tanto di un bug, quanto di un tentativo di raccogliere ulteriori informazioni su quello che sembra essere un crawler AI aggressivo.

Nel mio pannello di analisi di Cloudflare, vedo che il 60% delle richieste HTTP proviene da un user-agent con “Discourse” nel nome, in particolare: lfc-discourse-public-crawler. L’user-agent completo è lfc-discourse-public-crawler/0.1 (+public Discourse API archival crawl). Non ho mai visto questo user-agent prima d’ora.

Informazioni aggiuntive:

  • Accede solo alla versione .json di un argomento.
  • Sembra operare da Singapore.
  • L’IP rimanda a speedypage.com.
  • Browser: sconosciuto/altro.
  • OS: sconosciuto/altro.

E non sembra essere affiliato a Discourse. Ma con un nome del genere, forse è meglio che ne sia anche a conoscenza.

3 Mi Piace
2

Mmm, potrebbe essere qualsiasi cosa, ma forse un fork di A basic Discourse archival tool?

1 Mi Piace