ChatGPT 는 일반화하고 있습니다. 그것은 바로 패턴 매칭, 즉 피처 추출입니다! 문법 규칙과 일치하는 합리적인 순서로 단어를 구성할 수 있습니다. 복잡한 피처 집합을 '학습’하여, 주제 영역이 무엇이든 문법적으로 의미 있는 문장을 구성할 수 있습니다. 가능한 모든 단어 조합을 저장하고 매번 정확히 하나의 매치를 그대로 토해내는 것은, 즉 복사&붙여넣기는 아닙니다! 이것은 그 증거 중 하나일 뿐입니다. 그것이 주는 응답들은 점차적으로 발전하는 정교함을 보여줍니다.
하지만 수학에 대한 "이해"에는 충분히 정교하지 않다는 점은 인정합니다. 아직은요. (그리고 이 현재의 기술로는 영원히 그럴 수도?).
정교함의 수준이 뇌와 맞지 않으며, 범위가 제한적이고, 모든 것의 물리적 구현 방식이 매우 다르다는 점을 완전히 인식하고 있습니다. 하지만 그것은 제 논점을 무효화하지는 않습니다…
그렇습니다. LLM 출력에 학습 데이터가 노출될 실제 위험이 있으며, 이것이 발생하면 개인정보 보호 문제나 저작권 문제가 될 수 있습니다. 적절한 도구는 한편으로는 데이터 보호법, 다른 한편으로는 저작권법, 그리고 따라서 라이선싱이라고 생각합니다.
데이터 스크래핑, 대규모 다운로드, 기계 학습용 학습 데이터에 포함하는 것과 같은 특정 행위를 금지하도록 이용 약관을 수정하는 것이 나쁘지 않을 것이라고 생각합니다. 하지만 집행 측면에서는 콘텐츠 라이선싱에 대해 명확성을 갖추는 것이 좋다고 제안합니다. 효과성을 위해, 대부분의 Discourse 인스턴스가 자신을 보호하는 데 동일한 접근 방식을 취하도록, 적절한 명확한 라이선스가 기본 설치의 일부가 되어야 합니다.
아, 추가할 중요한 사항이 있습니다. 포럼의 콘텐츠를 제한적으로 라이선스하면, 최악의 경우 포럼을 새로운 플랫폼으로 이전하는 것이 어려워지거나 불가능해질 수 있습니다. 그러지 마세요!
(사회적 측면도 있지만, 그 비중은 작을 수 있습니다. 포럼 약관에 개인의 기여물이 포럼의 재산이 된다고 명시하면 일부 사용자가 이를 꺼릴 수 있습니다. 하지만 약관은 필요합니다. 포럼을 떠나는 사용자가 자신의 모든 게시물을 삭제해 달라고 주장할 수 없도록 해야 하니까요. 이는 지금 다루고 있는 주제와는 별개의 문제이지만, 약관이 얼마나 중요한지 보여주는 사례입니다.)
‘왜’에 대해서는 (매우) 흥미롭긴 합니다.
어떻게 하는지 알고 싶은 이유는? 당연히 그것을 하려는 것이겠죠.
하지만 왜 그런 걸까요? 그것은 꽤 질문의 확장입니다.
좋은 질문입니다. 그리고 여기서 포럼 사용자들 자체가 실제로는 그 책이 되고 있습니다.
많은 사이트에서 채택하는 것으로 보이는 방법 중 하나는 사용자의 행동 분석입니다. “너무 많은” 페이지가 스캔되거나, 특히 “너무 빠르게” 수행되는 경우, 그것은 아마도 스크래핑일 것입니다. 그 후 몇 가지 매개변수를 추가할 수 있는데, 예를 들어 주거용 IP 주소 대신 “호스팅 IP 주소”를 사용하는지, “헤드리스” 브라우저를 사용하는지, 쿠키를 허용하지 않는지 여부 등이 있습니다.
따라서 네, 앞으로 이러한 것들을 정의하고 세밀하게 조정하여 기술적으로 가능한 한 많은 스크래핑을 차단하려고 시도할 수 있습니다. 일반적인 방법은 봇과 같은 행동이 의심될 때 CAPTCHA를 요청하는 것입니다. 이는 사용자가 단순히 차단되는 경우와 달리 인간이 계속 진행할 수 있게 해줍니다.
물론, 누군가 여전히 그것을 하기를 원한다면 이러한 모든 것을 우회할 수 있습니다. 식별을 피하고, 다양한 사용자처럼 보이게 하며, 여러 측면에서 더 정당한 것처럼 보이고, 주거용 IP를 로테이션하는 등을 통해 가능합니다. 시스템이 방지하려는 것을 어떻게 스크래핑할지 아는 것은 거의 스포츠와도 같습니다. 이 분야에서 매우 뛰어난 사람들이 많습니다. 이를 수행하기 위한 풍부한 리소스가 있습니다.
ChatGPT 개발팀과 같은 정당한 엔티티는 아마도 이러한 경로를 따르지 않을 것입니다. 또한 그들은 이용약관(ToS)을 준수하고, 정직한 사용자 에이전트를 사용하는 등 더 그럴 가능성이 높습니다. 그들을 설득하기 위해, “법적”이고 단순한 사실, 즉 금지한다고 말하는 것만으로도 충분할 수 있습니다. 이는 법적 문제나 정직함에 덜 관심 있는 사람들에게는 통하지 않을 것입니다.
꽤 간단한 해결책은 로그인하지 않은 게스트가 볼 수 있는 양을 제한하는 것입니다. 하지만 다시 말하지만, 평소처럼, 충분히 동기부여가 된 사람들에게는 그것을 정말로 하려는 것을 막기가 매우 어렵습니다. 다만, 이 사안에서 표적으로 삼아야 할 중요한 사람들이 후자일 가능성은 낮습니다.
robots.txt는 크롤러를 위해 의도된 지침입니다.
크롤러가 이를 따를 것이라는 가정에 의존합니다. “반드시” 따를 것이라고 보장하는 것은 아무것도 없습니다.
웹 서버 수준에서 사용자 에이전트를 차단할 수 있습니다. Discourse에는 일반적으로 NGINX가 사용됩니다.
이 경우, 웹 서버는 해당 사용자 에이전트에 어떤 콘텐츠도 제공하지 않습니다. 웹사이트 NGINX 설정 파일에 몇 줄만 추가하면 됩니다. nginx block user agent 또는 유사한 검색어로 웹 검색을 해보세요.
여기서의 아이디어는 X 페이지를 방문하는 해당 사용자 에이전트(user agent)만 리디렉션하는 것입니다. 제 경우, 현재 이벤트 기사를 방문하는 위의 사용자 에이전트들을 리디렉션하되, 성경 관련 콘텐츠는 모든 사용자에게 계속 제공하도록 했습니다. 이는 SEO 목적에서 진행했으며, 실제로 효과가 있었습니다. 혹시 이와 유사한 방식으로 AI 봇을 차단하는 방법이 있을까요?
단, 우리가 할 수 있는 수준까지는 아닙니다.
