Dies ist weniger ein Fehler, als vielmehr ein Versuch, mehr Informationen über etwas zu ermitteln, das wie ein aggressiver KI-Scraper aussieht.
In meinem Cloudflare-Analytik-Dashboard sehe ich, dass 60 % der HTTP-Anfragen von einem User-Agent stammen, der „Discourse“ im Namen trägt, insbesondere: lfc-discourse-public-crawler. Der vollständige User-Agent lautet lfc-discourse-public-crawler/0.1 (+public Discourse API archival crawl). Ich habe diesen User-Agent noch nie zuvor gesehen.
Zusätzliche Informationen:
Greift nur auf die .json-Version eines Themas zu.
Es scheint aus Singapur zu operieren.
Die IP-Adresse führt zurück zu speedypage.com.
Browser: unbekannt/sonstige.
Betriebssystem: unbekannt/sonstige.
Und es scheint nicht mit Discourse verbunden zu sein. Aber mit einem solchen Namen ist es vielleicht gut, dass Sie auch davon wissen.
Danke @awesomerobot. Das könnte tatsächlich das hier verwendete Tool sein. Da ich nichts mit einem solchen Tool archiviere, scheint jemand anderes eine Kopie all meiner Inhalte zu erstellen (oder zu versuchen, dies zu tun).
Um dies zu stoppen, habe ich den User-Agent über robots.txt blockiert. Außerdem habe ich alle Anfragen aus Singapur blockiert. Ich werde die Situation in sieben Tagen erneut überprüfen.
robots.txt ist lediglich eine höfliche Empfehlung. Sie stoppt nichts per se. Wenn ein User-Agent jedoch diese Regeln befolgt, zeigt das, dass der Bot nicht bösartig ist.
Wir sollten solche Vorgänge auf Nginx-Ebene durchführen
