웹 스크레이핑을 방지하는 방법이 있을까요?

저희는 포럼에서 학습 자료를 공유하고 있습니다(문제를 풀고 상세한 답을 게시하는 방식). 그런데 누군가 저희 포럼의 내용을 스크래핑하여 본인 웹사이트에 게시하려고 하고 있습니다. 이러한 행위를 막을 수 있는 방법이 있을까요?

웹사이트가 공개되어 있다면 이를 막을 수 있는 방법이 없습니다. 우회 방법이 항상 존재하기 때문입니다.

일반적으로 접근해서는 안 되는 영역을 보호하는 것은 웹사이트 운영자의 책임입니다. 저는 Discourse의 사용자 권한 및 그룹 기능을 활용하는 것을 권장합니다. 다만, 이를 위해서는 잘 계획된 사이트 구조가 필요합니다.

원치 않는 방문자의 IP 주소를 차단할 수도 있습니다. 하지만 어떤 조치를 취하든, 이는 임시 해결책에 불과합니다.

지식을 공유하고 싶지 않다면 다음 세 가지 옵션 중 하나를 선택할 수 있습니다:

  1. 폐쇄형 커뮤니티 / 초대 전용
  2. 해당 개인(들)에 대한 법적 조치
  3. 유료 콘텐츠 제공 및 영역 차단

카테고리 권한을 수정하여 TL0 이상만 볼 수 있도록 설정할 수도 있습니다. 이렇게 하면 익명 사용자나 크롤러가 해당 카테고리 및 관련 주제를 볼 수 없게 됩니다.