AI/LLM 생성 콘텐츠를 허용하지 않는 포럼의 스태프로서, 여러분의 경험을 듣고 싶습니다. 사용자에게 이 정책을 어떻게 전달하셨나요? AI 생성 콘텐츠는 어떻게 감지하시나요? 그럼에도 불구하고 AI 생성 콘텐츠를 게시하는 사용자에게는 어떻게 대응하시나요?
모든 의견 환영합니다.
참고: 저는 개인적으로 사이트의 프론트엔드에서 이루어지는 인간 대 인간의 상호작용 측면에만 관심이 있습니다. 크롤러 차단만으로는 해결이 불가능하다고 보고 있습니다.
저희 포럼은 영성/종교 관련 토론 포럼이며, AI 생성 콘텐츠는 전면 금지하고 있습니다.
대부분의, 아니 거의 모든 AI 생성 텍스트는 그냥 읽어보면 쉽게 감지할 수 있습니다. 구글의 SynthID는 AI 이미지 감지를 위한 멋진 기술이며, 제미나이(Gemini)로만 작성된 텍스트도 감지할 수 있다고 주장합니다. 오픈AI도 이 표준을 지원하고 있습니다. 제가 직접 텍스트를 감지하는 능력은 아마도 익힌 기술일 수 있지만, 현재 AI 이미지나 텍스트를 감지하지 못하는 위기 상황에 대응하기 위해 이루어지고 있는 노력에는 감사의 뜻을 전합니다.
제 생각에는 여전히 음소거/정지가 올바른 방법입니다. 특히 계정이 새로운 경우라면요. 만약 누군가 제 사이트에 가입한 지 얼마 안 된 새로운 계정이 갑자기 AI 생성된 주제를 게시한다면, 그 계정을 정지하고 차단해야 할 이유가 없다고 봅니다.
스크래핑 딜레마에 관해서는: 제 사이트는 현재 작은 회사 내부의 소통 및 문서화를 위해 사용되고 있으며, 궁극적으로 블로그용 백엔드로 활용할 계획입니다. 제 도메인의 robotstxt 파일을 무시하려는 크롤러를 막기 위해 honeypot을 설정하는 것은 어렵지 않았습니다.
이 하나의 전술만으로 두 주간의 기간 동안 약 600만 건의 요청(도메인당 초당 약 6회)을 유발했습니다:
AI 크롤러가 해당 사이트를 방문할 때마다, 약 7,000개의 가짜 단어 데이터셋, 어색한 HTML, 무작위 단어, 그리고 8B Llama로 생성된 가짜 뉴스가 포함된 무한한 스팸 미로로 유도됩니다. 이는 iocaine 프로젝트를 자체 호스팅하여 구현한 것입니다.
물론 이것은 핵무기 같은 “가라” 전술이며 모든 사람에게 적합하지는 않지만, LLM이 제 코드나 텍스트 콘텐츠를 가져가는 것을 막는다는 제 목표에 있어서는 매우 효과적이었습니다. Anthropic이 LLM 오염에 대해 수행한 사례 연구를 읽은 기억이 나지만 더 이상 그 기사를 찾을 수 없어 여기에 첨부하지는 않겠지만, 아마도 그들이 봇이 최근 제 도메인에 무려 500만 건의 요청을 보냈다는 것을 깨달았을 때 제 도메인을 차단해야 할 필요가 있을 것입니다.
(크롤러 부하, 크롤러가 학습을 위해 콘텐츠를 가져가는 문제, 그리고 현재 급속한 발전이 가져오는 사회적·경제적 결과라는 질문은 일단 보류하고 있습니다. 다행입니다.)
저의 경우, 트래픽이 적은 취미 사이트에서 다음과 같은 방식으로 대응하고 있습니다.
제안 가능한 지침의 형태는 다음과 같을 수 있습니다:
(우리의 취미 환경에서는 추가적인 측면이 있는데, 바로 취미 활동 내에서 LLM을 사용하는 것입니다. 이는 다양한 가능성을 포괄하며, 열성적인 지지자와 비판자가 모두 존재합니다.)
이 예시는 Discourse와 직접적인 관련은 없지만, 정책 및 거버넌스 문제는 분명히 겹칠 것입니다.
영어판과 독일어판 위키백과는 모두 제가 극단적인 AI 순수성 정책이라고 묘사할 만한 것을 갖추고 있습니다. 16년 경력의 편집자로서, 제가 주로 작성한 문서에 AI 생성 콘텐츠를 추가했다는 부당한 고발을 받았습니다. 그리고 구제 절차를 밟는 과정은 매우 고통스러웠습니다. 여기에는 위키백과 영어판 중재위원회(ArbCom)와 위키미디어 재단 신뢰 및 안전 팀(WMF TST)에 대한 공식 불만 접수도 포함되며, 각각 지금까지 즉각 기각되거나 이유 없이 거부되었습니다.
여기서 제 경험을 자세히 재현하고 싶지는 않습니다. 일부는 아직 진행 중이기 때문입니다. 그러나 이 글의 독자들에게 위키백과 영어판의 Fern Cave 문서에 관한 이 놀라운 대화를 검토해 보시길 권합니다. 해당 사이트는 캘리포니아의 모도크족에게 문화적으로 중요한 장소입니다:
해당 저자는 AI 사용 여부를 네 번이나 부인해야 했습니다. 그 과정에서 그들의 원주민 지식도 무시되었습니다. 정책을 집행하는 편집자는 우려를 담은 것처럼 보이지만, 동시에 양보하지 않을 경우 제재하겠다는 암시적인 위협으로 읽힐 수 있는 비문으로 결론을 맺었습니다.
이러한 심리적 전술은 정책을 집행하는 편집자들에 의해 정기적으로 사용되며, 저는 다른 사례들에 대한 증거를 가지고 있습니다.
해당 대화의 소스 마크업을 살펴보면, 피고발 저자가 답변을 작성할 때 AI 사용을 감지하려는 목적으로 설정된 font-size: 0pt 허니팟 트랩을 발견할 수 있습니다. 이 트랩은 발동되지 않았습니다.
AI 도구 사용 의혹으로 "부당하게 공격"을 받아 위키백과 독일어판을 떠난 여러 편집자들에 대한 신뢰할 수 있는 보고도 있습니다.
이 주제가 제기한 원래 질문에 답하자면, 저는 위키백과 영어판과 독일어판이 AI 콘텐츠 처리를 시도하는 과정에서 여러 측면에서 거버넌스 측면에서 심각하게 실패하고 있다고 주장합니다. 저는 최근 WMF TST 팀에 제출한 17페이지 분량의 보고서에서 세 가지 사례 연구를 문서화했습니다. 해당 PDF를 적절한 시점에 공개할 수도 있습니다.
저는 이 의견에 강하게 동의하지 않습니다. 위키백과 영어판에서의 제 경험(이 주제에 대해 다른 곳에서 자세히 설명했습니다)을 고려할 때, 이 접근 방식은 대부분 허영심과 혼합된 유사과학(pseudoscience)에 불과하다고 생각합니다. 더욱 중요한 점은, 이러한 감지는 반증(refute)할 수 없다는 것입니다. 실제로 위키백과에서 강제 집행에 관여하는 편집자들은 종종 함께 행동하며, 반론이 제기되어도 단순히 발을 동동 구르며(즉, 주장에서 물러서지 않고) 버팁니다.
지적받은 편집자는 반증의 부담(reverse burden of proof)을 지게 되며, 설령 반대되는 가장 설득력 있는 증거가 제시되더라도 반증할 수 없는 단순한 비난에 시달리게 됩니다. 자연적 정의(natural justice)는 증발해 버립니다. 이는 통상적으로 잘 작동하지 않는 커뮤니티 거버넌스의 유형입니다.
저는 압니다. 저는 이 과정을 firsthand로 경험해 봤기 때문입니다. 그 과정은 추악합니다. 더 나은 방법이 있어야 합니다.
관련 읽을거리, 특히 두 번째 기사는 처음 읽었을 때 저에게 눈을 뜨게 해 주었습니다. @robbie.morrison 님에게도 부분적으로 해당될 것 같습니다. 어떤 사람들은 “그냥 그렇게 글을 쓰는” 것이죠.
그리고 저는 다음과 같은 결론에 도달했습니다. 저는 ChatGPT처럼 글을 쓰지 않습니다. ChatGPT는 그 특이하고, 육체 없는, 전 세계적으로 출처를 둔 방식으로 저처럼 글을 씁니다. 또는 더 정확히 말하면, ChatGPT는 모호함을 갈아내고 우리의 생각을 매우 특정적이고, 매우 격식 있으며, 매우 인상적인 형태로 단련하도록 의도적으로 설계된 매우 특정한 교육적 및 사회적 관문을 통과한 수백만 명의 우리와 같은 방식으로 글을 씁니다.
네, 비영어권 화자에 대한 편견은 제가 가장 우려하는 문제 중 하나입니다.
Discourse 커뮤니티는 아니지만, 흥미로운 글이 하나 있습니다: Rules Roundtable XXI.V: Plagiarism, Integrity, and Generative AI. 이 글은 AskHistorians 서브레딧에서 나온 것입니다. 익숙하지 않으신 분들을 위해 말씀드리면, 이 서브레딧은 아마도 Reddit에서 가장 엄격하게 관리되는 커뮤니티 중 하나일 것입니다. 질문에는 기본적으로 학술적 수준의 답변만 허용합니다.
AskHistorians Reddit에는 여전히 "먼저 쏘고 나중에 물어본다(shoot first)"는 편향이 남아 있으며, 이는 피소자에게 역전된 입증 책임을 요구합니다(단, Wikipedia/Wikimedia보다는 확실히 더 많은 적법 절차를 따름):
AI를 사용하여 답변을 생성했다는 사실을 명시하지 않으면서 규칙을 위반하는 방식으로 AI를 사용하고 있다고 의심될 경우, 계정이 정지됩니다. 다만, AI 사용으로 인해 정지된 모든 사용자에게 항소 제출 방법을 안내합니다. 이는 가혹하게 느껴질 수 있지만, 그 이유는 사용자를 modmail로 유도하여 공개적인 비난이 연쇄적인 공격(pile-ons)으로 이어지는 것을 방지하고 대화를 나누기 위함입니다.
현재로서는 이것이 유일하게 실행 가능한 전략일까요? 하지만 이는 자연적 정의(natural justice)에는 크게 어긋납니다.
PS: 해당 Reddit 게시물의 전문은 다음과 같습니다:
음, 그 서브레딧은 사실 ‘커뮤니티’와는 거리가 먼 것 같아. AI든 아니든, 어떤 콘텐츠를 받아들이느냐에 대해 정말 냉혹하거든.
하지만 누군가 AI를 썼다고 지목하는 것 자체가 늘 위험한 일이야.
나는 예전부터 – 를 써왔는데, 이제는 사람들이 AI가 쓴 글이라고 생각할까 봐 쓸 수 없게 되었습니다. 긴 대시(long dash)여, 안녕.
네, 마크다운을 활용하여 잘 쓴 게시글을 작성하는 사람은 누구나 의심받을 수 있습니다.
나도 그래! AI가 등장하기 전에도 몇 년 동안 emdash를 너무 많이 써왔는데, 그걸 AI가 뺏어간 셈이지 
저는 실수를 너무 많이 해서 AI로 오인당할 정도입니다 
이상하게도, 제 글에서 발견하는 작은 실수들을 자발적으로 고치지 않으려는 경향이 예전보다 커졌습니다(제 모국어인 프랑스어에서도요). 그 완벽하지 않은 부분들을 남겨두면 제가 쓴 글이 더 진정성 있고 개성이 느껴진다고 느낍니다. 사람들이 그런 실수나 어색하게 쓰인 문장 덕분에 제 글임을 알아볼 수도 있겠죠. 또한 제가 쓰는 모든 것이 완벽해야 한다는 압박(그것이 무엇을 의미하든)에서 벗어나려 하지 않아도 정신적으로 덜 지칩니다.
저희 커뮤니티는 아직 본격적으로 활발하지는 않지만, LLM 생성 콘텐츠를 게시하는 것을 원하지 않는다는 점에 대해서는 확고한 입장을 가지고 있습니다. 당분간 크롤러는 허용할 계획이며, LLM 봇이나 LLM 시스템 메시지는 도입하되, 회원들이 ChatGPT로 만든 저질 콘텐츠(slop)를 올리는 것은 원하지 않습니다(사람들이 사용하길 원하는 수작업으로 만든 방대한 문서가 있기 때문입니다).
이 내용은 커뮤니티 규칙에 명시될 것이며, 발견될 때마다 수동으로 조정(moderation)할 계획입니다. 다만 자동 플래깅 및 기타 전략에 대해서는 관심을 가지고 있습니다.
참고로, 저희는 프랑스어권 커뮤니티입니다.
솔직히 말해서, 나는 전역 피드에서 훨씬 더 흥미로운 주제와 게시글이 몇 개만 있는 것을 선호합니다. 이는 SEO에도 중요한데, AI에서 생성된 콘텐츠의 인덱싱은 전통적인 검색 엔진에서 일반적으로 패널티를 받기 때문입니다.
어쨌든, Discourse는 대부분 공개적인 성격이 있기 때문에, 만약 내가 콘텐츠가 AI로 가득 차 있거나 AI로 만들어진 저질 콘텐츠(AI Slop)와 섞여 있는 다른 인스턴스에 접속하게 된다면, 나는 자연스럽게 떠나게 될 것입니다.
그냥… 여기 있잖아요 
당신의 정확한 의도가 무엇인가요? 도구로 사용하는 경우(예: 언어 및 주제별 콘텐츠 자동 번역, 제 인스턴스처럼)와 다른 용도 사이에는 큰 차이가 있습니다. 아마도 내 댓글을 너무 문자 그대로 해석하신 것 같네요. 맞나요? 진심으로 묻는 질문입니다.
제 말은, 당신이 주장하는 것처럼 그렇게 원칙적이지 않다는 겁니다. 콘텐츠에 AI 생성물을 허용하고 있죠. 여기에도 그런 것들이 있거든요. 대부분은 코드 쪽에서 볼 수 있지만, ask.discourse.org의 섹션들도 예외는 아닙니다.
그래서 일관성을 요구합니다. 
물론 인생에 절대적인 것은 없지만, 내가 말했듯이, 인스턴스의 콘텐츠가 대부분 AI 생성이거나 AI 생성 콘텐츠와 혼합되어 있다면 당연히 거절할 것입니다. 다시 말하지만, 당신은 토론에서 글자 그대로의 의미를 따르는 경향이 있는 것 같군요, 그렇죠? 비꼬지 말고 다음에는 더 명확하게 표현해 주세요.
AI가 생성한 콘텐츠가 신중하게 프롬프트를 조정하여 명백한 표지나 패턴을 제거한 경우, 이를 감지하는 것이 그렇게 쉬운 일은 아니라고 생각합니다. 특히 그 뒤에 사람이 직접 교정하고 수정을 거쳤다면 더욱 그렇습니다.
오히려 수동 검사를 통해 사이트 전체가 "봇 생성 콘텐츠"로 표시되는 경우가 더 많을 것입니다.
검색 엔진은 이런 것을 잡아내는 데 매우 취약합니다.
다음은 좋은 예시입니다:
https://www.geeky-gadgets.com/openai-gpt-5-6-models-restricted/.
이 페이지는 검색 결과 상위 5개 안에 나타났지만, 'Sol’의 오타로 인해 저질 콘텐츠(slop)임이 드러납니다.
해당 사이트 소유자가 검토조차 하지 않은 것입니다. 인간이라면 그런 실수를 하지 않았을 것입니다.
