User-agent: lfc-discourse-public-crawler

기여 버그
1

안녕하세요,

이것은 버그라기보다는, 공격적인 AI 스크레이퍼로 보이는 것에 대해 더 많은 정보를 파악하려는 시도입니다.

Cloudflare 분석 대시보드에서 사용자 에이전트 이름에 “Discourse”가 포함된 요청이 HTTP 요청의 60%를 차지하는 것을 확인할 수 있습니다. 특히 lfc-discourse-public-crawler입니다. 전체 사용자 에이전트는 lfc-discourse-public-crawler/0.1 (+public Discourse API archival crawl)입니다. 이전에는 이 사용자 에이전트를 본 적이 없습니다.

추가 정보:

  • 토픽의 .json 버전에만 접근합니다.
  • 싱가포르에서 운영되고 있는 것으로 보입니다.
  • IP 주소는 speedypage.com으로 추적됩니다.
  • 브라우저: 알 수 없음/기타.
  • 운영체제: 알 수 없음/기타.

Discourse와 관련이 있는 것으로 보이지 않습니다. 하지만 이름이 그렇기 때문에, 이 사실에 대해 여러분도 인지하고 계신 것이 좋을 것입니다.

4개의 좋아요
2

음, 뭐든 될 수 있지만, A basic Discourse archival tool 의 포크일 수도 있겠네요?

1개의 좋아요
3

@awesomerobot 감사합니다. 이 도구가 여기서 사용되었을 가능성이 실제로 있습니다. 저는 이런 도구로 아무것도 아카이빙하지 않으므로, 누군가가 제 모든 콘텐츠를 복제하고 있거나(또는 시도하고 있거나) 하는 것 같습니다.

이를 막기 위한 조치로 robots.txt를 통해 해당 user-agent를 차단했습니다. 또한 싱가포르에서 온 모든 요청도 차단했습니다. 7일 후 다시 평가해 보겠습니다.

1개의 좋아요
4

robots.txt는 단지 정중한 제안일 뿐입니다. 그 자체로는 아무것도 막지 못합니다. 하지만 사용자 에이전트가 해당 규칙을 따른다면, 그 봇이 악의적이지 않다는 신호로 볼 수 있습니다.

이러한 작업은 nginx 레벨에서 수행해야 합니다 :man_shrugging:

2개의 좋아요