방금 구글이 크롬 사용자들이 웹에서 AI를 활용해 콘텐츠를 작성하도록 장려하는 기능을 출시했다는 소식을 보았습니다. 
이 기능이 온라인 커뮤니티의 유용성을 파괴할 잠재력이 있다고 생각합니다. 사용자는 브라우저에서 버튼을 누르는 누군가가 조작하는 봇과 대화하고 있다는 사실을 알 수 없으며, 그 봇은 실제로 할 말이 없는 사람에 의해 운영되고 있을 수 있습니다.
텍스트가 브라우저에 의해 삽입되었는지 사용자가 직접 입력한 것인지 추적함으로써 이를 감지할 수 있을까요? 붙여넣기가 감지되지 않았는데 편집기에 갑자기 텍스트가 채워진다면, 이는 AI가 생성한 것으로 볼 가능성이 높습니다.
AI로 생성된 게시글이라면 특별한 플래그를 부여하고, 선택적으로 검토를 거치도록 할 수도 있습니다. 관리자는 사용자가 AI로 생성된 것처럼 보이는 게시글을 얼마나 많이 작성하는지 확인할 수 있을 것입니다. 그냥 아이디어를 내어본 것뿐입니다.
이미 ‘너무 빨리 타이핑함’ 감지기가 있어 복사 & 붙여넣기를 잡아줘야 하는 것 아닌가요?
실제 내용을 분석하는 부분에 대해서는, 그냥 이 링크를 여기에 남겨두겠습니다:
“2023년 7월 20일부로, AI 분류기는 낮은 정확도율로 인해 더 이상 사용되지 않습니다. 우리는 피드백을 반영하고 있으며, 텍스트에 대해 더 효과적인 출처(provenance) 기술을 연구 중이며, 오디오나 시각 콘텐츠가 AI에 의해 생성되었는지 사용자가 이해할 수 있도록 메커니즘을 개발하고 배포하는 것을 약속했습니다.”
대체 방안이 있는지 저는 알지 못합니다.
이것은 어려운 문제입니다.
기존 도구가 검열 과정에서 이를 감지할 수는 있지만, 관리자는 복사/붙여넣기(보통 스팸러)와 브라우저에서 삽입된 AI(동기가 다른 새로운 유형의 문제)를 구별할 수 없게 됩니다. 사용자가 Chrome이나 브라우저 확장 프로그램에서 포럼에 콘텐츠를 삽입한 횟수에 대한 이력을 볼 수 있는 방법이 없기 때문에, 자신의 글을 직접 작성하지 않는 사용자를 탐지하기가 더 어려워집니다.
저는 온라인 가시성이나 어떤 형태의 “포인트”를 얻기 위해 기여하는 사용자를 상상해 봅니다. 그들은 독서에 중독되어 있지만, 수년간 그저 구경만 해온 사람들입니다. 이 AI 도구는 그렇지 않았다면 조용히 읽기만 했을 사람들에게 글을 쓰도록 장려합니다.
이 기능이 널리 사용되기 시작하면 포럼의 콘텐츠 품질이 점진적으로 저하될 것이라고 생각합니다. 최소한 “포럼의 품질이 예전만큼 좋지 않다”는 일반적인 인식은 생길 것입니다.
그런 퇴보는 이미 일반적인 웹에서 일어났으며, 많은 사람들이 SEO 스팸과 AI 기사를 피하려고 검색 쿼리에 “reddit”을 붙여 쓰고 있습니다.
이 기능이 대중화되면, “사용자가 너무 빠르게 타이핑함” 필터에 걸린 모든 게시물이 AI인지 확인하기 위해 신중하게 검토되어야 하므로 검열도 더 어려워질 것입니다. 관리자는 “이것은 붙여넣기한 것”(텍스트 에디터에서 작성한 후 복사했을 수 있음)인지, “이것은 Chrome이나 확장 프로그램에서 삽입된 것”(대부분 AI일 것)인지 빠르게 판단할 수 없게 됩니다. 각 사용자의 삽입된 게시물 수에 대한 이력도 관리자에게 보인다면, 우리는 그러한 검열 결정을 더 쉽게 내릴 수 있을 것입니다.
여기서 그 기능에 접근할 수 있는 분이 있다면, 어떤 종류의 출력을 제공하는지 설명하거나 시연해 주실 수 있을까요?
스크린샷을 첨부합니다. 이 기능은 상자를 열고, 여기에 작성할 내용을 입력하면 “삽입” 버튼을 클릭했을 때 편집기에 전송됩니다. 긴 글을 작성해 달라고 요청했는데, 단락 하나만 작성되었습니다.
보통 구글 크롬을 사용하지 않는데, 어떤 사이트를 확인하려고 크롬을 실행했을 때 해당 기능의 광고가 담긴 탭이 자동으로 열렸습니다.
만약 편집기에 즉시 전송되면, 다른 출처에서 잘라 붙여넣은 것과 동일하게 검토 대기열로 이동하도록 플래그가 트리거되어야 합니다.
검토(모더레이션)로 넘어갈 수는 있지만, 사용자의 다양한 동기를 구별할 방법은 여전히 없습니다.
사람들이 이 기능을 사용해 AI로 작성한 글을 게시하기 시작할 경우, 포럼을 보호하기 위해 몇 가지 추가 도구가 있으면 도움이 될 것이라고 제안합니다:
문서화를 찾지 못했지만, "AI 도구"가 브라우저의 클립보드 API를 사용하고 있을 것이라고 강하게 의심합니다. 따라서 웹사이트에서 텍스트의 출처를 구별할 수 없을 것입니다.
솔직히 좀 웃기긴 합니다. 구글은 웹사이트나 도메인 단위로 이를 차단할 수 있는 방법을 제공해야 합니다. 구글 문서(Google Docs)에서 Smart Compose를 끄는 것과 비슷한 방식이죠.
AI를 글쓰기 보조 도구로 활용하는 것 자체는 찬성하지만, 저런 방식은 아니라고 봅니다.
아직도 감지 가능한 차이가 있을 수 있습니다 — 붙여넣기를 하려면 커서가 텍스트 영역에 진입하고 키를 누르거나 마우스 오른쪽 버튼을 클릭해야 하지만, 콘텐츠를 주입하는 경우에는 그러한 동작을 하지 않습니다. (수정: 이 기능을 사용하려면 마우스 오른쪽 버튼을 한 번 클릭해야 합니다. 그런 다음 도구를 사용하는 동안 잠시 멈춤이 발생하고, 그 후에 주입이 이루어집니다.)
감지할 수 없다고 해도, 어떤 사용자가 복사/붙여넣기를 얼마나 자주 하는지 카운트를 유지하는 것이 유용할 것입니다. 그렇지 않으면 moderators(모더레이터)는 게시물을 분석하는 데 많은 시간을 보내게 될 것이며, 직감 외에는 증거가 없는 사항에 대해 사용자들이 이의를 제기하는 상황을 마주하게 될 것입니다. 모더레이션은 이미 극도로 부담스러운 작업입니다.
예시를 보여주셔서 감사합니다 @j172
제 커뮤니티의 경우, 영어에 자신이 없는 사람들을 위해 번역 도구의 사용은 계속 허용하고 싶습니다. 하지만 내용 없이 단순한 AI 생성 글은 원치 않습니다. 중간 단계로는, 사람들이 AI 도구를 이용해 글을 다듬고 싶어하는 경우가 있을 수 있습니다. 요즘은 이력서나 문서, 발표 자료 등을 개선하기 위해 이러한 도구를 사용하는 것이 흔해졌습니다. 저는 그런 정도는 괜찮다고 생각합니다.
저에게 중요한 것은 게시물의 질입니다. 토론에 기여하는가, 게시자의 의견, 경험, 지식을 표현하는가 하는 것입니다.
오늘로서는 제 방어책은 두 가지라고 생각합니다.
AI 도구가 점점 발전하고 있기 때문에, 자동화된 방어책이 효과적일 것 같지는 않습니다.
전적으로 동의합니다. 이미 AI 모델의 종류가 매우 다양하고, 모델 학습 방식의 변형도 많으며, 사용자가 출력을 생성하기 위해 제공할 수 있는 프롬프트의 변형은 무한합니다. AI 생성 콘텐츠를 탐지하려는 어떤 전략이든 매우 빠르게 실패할 것입니다.
제가 제안한 방법은 AI 콘텐츠가 어떻게 생성되는지에 의존하지 않습니다. 이 방법은 콘텐츠가 페이지에 삽입되는 방식과 사용자 상호작용의 타이밍을 측정합니다. 최종 판단은 더 많은 정보를 바탕으로 결정을 내릴 수 있는 модератор(모더레이터)에게 맡깁니다. 모든 것을 잡아낼 수는 없지만, 많은 문제를 포착할 수 있을 것입니다.
제 메인 포럼에서는 스팸꾼들이 종종 계정을 만들고 장기간 게시물을 올리며 일반 사용자인 척합니다. 때로는 계정이 1~2년 정도 경과한 후에야 스팸 링크 삽입을 시작하기도 합니다. 그들은 흥미로운 내용을 게시하지 않지만, 동시에 규칙을 위반하지도 않으므로 바로 BAN(차단)할 수 없습니다. 각 계정과 개별적으로 소통하여 합법적인 사용자인지 확인하기에 시간이 충분하지 않습니다. 제가 우려하는 그룹 중 하나가 바로 이 사람들입니다.
이 Google Chrome 기능이 널리 채택되지 않을 수도 있지만, 포럼 전반에 걸쳐 상당한 부정적 영향을 미칠 위험이 있습니다. 경계선에 가까워 통과할 수 있는 수준인 무의미한 AI 콘텐츠가 증가하면서 모더레이션 부하가 커지고, 대중이 포럼의 가치를 낮게 평가하게 될 수 있기 때문입니다.
이 기능이 실제로 널리 사용되면, AI 게시물을 단순히 글쓰기 실력이 좋지 않지만 허용 가능한 범위 내의 콘텐츠를 작성하는 사용자의 게시물과 구별하는 방법이 없을 것입니다. 데이터 없이 이러한 모더레이션 결정을 내리려는 시도는 관리자(Admin)에게 막대한 부담으로 돌아올 수 있습니다. 모더레이터가 잘못된 결정을 내리거나, 피소된 사용자가 AI 사용에 대해 거짓 진술을 하면 사용자와의 지루한 논쟁이 이어져 시간이 낭비될 수 있습니다.
이러한 문제를 방어하기 위한 기능을 추가하기에는 아직 이르지만, Discourse가 이 문제를 계속 주시하길 바랍니다.
우리가 이 분야를 매우 면밀히 주시하고 있다는 점을 언급해 둘게요.
전략을 결정하는 데 도움이 될 수 있도록, 외부 커뮤니티의 성공과 실패 사례를 듣고 싶어요.
여기에는 정말 다양한 스펙트럼이 존재해요:
확실히, 중재(모더레이션)를 개선하는 데는 가치가 있다고 생각해요. 확실히요. 노란색 / 주황색 / 빨간색 플래그 시스템이 흥미로울 수 있겠어요 … 확실히요.
구글의 AI 글쓰기 도구에 내가 문제를 제기하는 이유는 바로 그 UI입니다. 답장을 생성한 뒤 큰 “삽입” 버튼을 보여주는 방식이죠. AI를 글쓰기 도구로 활용하는 게으르지 않은 방식은, 자신이 쓰고 있는 내용에 대해 AI와 대화를 나누는 것입니다.
네, 이에 매우 동의합니다. AI 탐지기가 있을지 모르겠지만, AI가 생성한 가이드를 누군가가 지적하는 데 왜 15분이나 걸렸을까요(제가 활동하는 포럼에서)? 그 기능이 비활성화되어 있을 수도 있지만, 이는 사람들의 노력의 가치를 AI 앞에서 무의미하게 만듭니다. 실제로 우리는 AI가 생성한 가이드와 관련된 문제를 두 번 겪었고, 인간과 AI가 혼재된 사용자도 있었습니다.
그 포럼에서는 6월에 AI와 관련된 불미스러운 일이 여러 번 발생했으며, 우리 대부분은 직접 일을 하는 것(보다 구체적으로, 가이드를 작성하는 것)을 믿고 있습니다.
주시해 주셔서 감사합니다.
저는 AI 자체에는 반대하지 않습니다. 다만, AI가 생성한 콘텐츠를 인간이 쓴 것처럼 속이는 것에는 반대합니다.
제 메인 포럼에서는 AI 콘텐츠에 대한 규칙이 있습니다. ChatGPT와 같은 도구의 아이디어를 게시하는 것은 허용되지만, 반드시 ChatGPT에서 가져온 것임을 명확히 표시해야 합니다. 사람들은 ChatGPT의 출력물을 게시하여 인간들 간의 대화의 기초로 삼을 수 있습니다. 하지만 인간인 척하는 로봇의 댓글은 허용되지 않습니다.
Grammarly와 같은 확장 프로그램은 특정 웹사이트에서 활성화되어 이미 텍스트 영역에 직접 입력된 텍스트에 작동하므로, AI 삽입으로 감지되지 않을 것입니다.
누군가가 브라우저 확장 프로그램 대신 별도의 문법 검사 앱을 사용한다면, ctrl-v(또는 command-v, 또는 마우스 오른쪽 버튼 클릭 및 붙여넣기)와 같은 상호작용이 감지될 수 있으며, 이는 직접적인 AI 삽입과 구별될 수 있습니다.
사람들이 자신의 모국어로 콘텐츠를 작성하고, 포럼에서 실행되는 AI가 번역을 수행하는 것이 이상적일 것 같습니다. 번역 기술은 계속 발전할 것이므로, 사용자가 모국어로 게시하면 장기적으로 더 나은 번역 콘텐츠로 이어질 가능성이 높습니다.
외국어의 AI 콘텐츠가 주입되는 경우, 해당 콘텐츠가 AI 도구를 통해 주입되었는지 여부를 아는 것이 더 유용해질 것이라고 생각합니다. 현재 영어의 경우, 읽기만 해도 ChatGPT 콘텐츠인지 감지하기가 보통 어렵지 않지만, 다른 언어의 AI 생성 콘텐츠는 페이지에 대한 사용자 상호작용을 모니터링하지 않는 한 감지하기 어려울 것입니다.
그렇게 하는 사람들이 AI 사용자 중 매우 작은 비율일 것 같다는 생각이 듭니다. 누군가가 다른 창에서 AI와 브레인스토밍을 하다가 텍스트를 붙여넣는다면, 키 입력/클릭이 감지될 것입니다. Google의 도구는 브레인스토밍을 하지 않고 단순히 콘텐츠를 자동 생성합니다.
AI 텍스트 탐지, 즉 기계가 작성한 텍스트와 인간이 작성한 텍스트를 구별하는 능력은 여러 요인에 따라 달라지며, 언어도 그중 하나입니다. 영어는 오랫동안 AI 연구 및 개발의 중심에 있어, 영어 모델이 더 많이 학습되고 종종 더 정교합니다. 이로 인해 영어 AI 텍스트는 다른 언어에 비해 더 유창하고, 구별하기가 더 어려울 수 있습니다.
반면, AI 모델이 진화하고 다국어 데이터로 학습됨에 따라 다른 언어로 신뢰할 만한 텍스트를 생성하는 능력이 향상되고 있습니다. GPT-3와 그 후속 모델과 같은 다국어 모델은 여러 언어로 유창한 텍스트를 생성할 수 있음을 입증했습니다. 이는 AI 생성 텍스트를 탐지하는 난이도의 언어별 격차가 시간이 지남에 따라 줄어들 수 있음을 의미합니다.
AI 텍스트 탐지는 또한 텍스트의 맥락, 주제의 복잡성, 그리고 독자가 텍스트에서 비자연스러운 표현이나 반복적인 패턴을 인식하는 능력 등 다른 요인에도 의존합니다. 또한 문법과 어휘와 같은 언어별 특징이 AI 생성 텍스트를 인식하는 것이 얼마나 쉽거나 어려운지에 영향을 미칠 수 있습니다.
—
네, 그 텍스트는 AI가 생성한 것이었고, 처음에는 핀란드어로 작성되었습니다. 핀란드어 버전은 아무도 그렇게 말하지 않기 때문에 수동으로 탐지하기가 쉬웠습니다. 내용은 정확했지만 톤이 이상했습니다.
그 후 DeepL을 사용해 영어 버전으로 번역했습니다. 저조차도 그것이 AI가 작성했을 가능성이 높다는 것을 바로 알아챌 수 있었습니다.
제 약점은, 모든 AI 솔루션이 원어민을 속일 수 있는 텍스트를 생성하는 데 똑같이 나쁘다면, AI는 차이를 구별하는 데 완전히 무력해진다는 점입니다.
(그리고 왜 영어에서도 이렇게 형편없는지 조금 혼란스럽습니다)
그러면 무엇이 남았을까요? 예를 들어, 앞서 언급한 복사-붙여넣기(Paste-moves)를 탐지하는 것 정도입니다.
문법 실수를 하거나 전치어를 남용하더라도 보통은 충분히 이해할 수 있지만, 때로는 가능한 한 깨끗한 영어로 쓰고 싶거나 필요할 때가 있습니다. 그때 저는 AI에게 텍스트를 고쳐달라고 요청하거나, DeepL을 사용해 영어로 번역할 수 있습니다.
여기 있는 이 텍스트를 어떻게 얻었는지 생각해보시겠습니까? 
정확히 그렇습니다. 그리고 그 시점에서, 다른 자동화 시스템이 제 텍스트가 ctrl-v로 인해 플래그가 걸렸다고 알려준다면—
진짜 화가 날 것입니다.
다시 말하지만, 저는 또 다른 최종 사용자일 뿐이지만, 우리가 이 게임을 이길 수 있는 방법을 모르겠습니다. AI 이미지와 같은 종류의 문제입니다.
때때로 우리는 사회적 문제에 기술적 해결책을 찾으려 한다는 사실을 깨닫습니다. 여기의 사회적 문제는 품질이 낮은 게시글입니다. 관리자 조치로 뒷받침되는 정책이라면 효과가 있을 것입니다… 다만 규모의 문제만 빼고요.
저는 작은 포럼을 운영하므로 저에게는 해당되지 않는 문제입니다. 작은 포럼이 큰 포럼으로 성장할 수 있으며, 관리나 사용자 플래깅(신고) 기능을 확대하지 않고도 그런 일이 일어나도록 허용할 수 있습니다. 사용자는 품질이 낮은 콘텐츠에 경계심을 가져야 하고, 관리자는 플래그에 대응해야 합니다.
AI 게시글로 범람하는 상황을 피하면서도 사용자들의 자동 번역 사용 능력을 잃지 않을 수 있다고 생각합니다 — 아니, 바랍니다. 100%의 성공은 필요하지 않습니다. 포럼 콘텐츠의 품질을 사용자가 만족할 수 있는 수준으로 유지하여 사람들이 계속 돌아오고, 계속 기여하고, 플래깅에 도움을 주도록 하는 것이 필요합니다.
단일 게시물만으로는 이를 감지하기가 쉽지 않기 때문에, 사용자가 얼마나 자주 그렇게 하는지에 대한 통계를 기록하자는 제안을 했습니다 — 예를 들어 ctrl-v, 우클릭, 탭 포커스, 텍스트 삽입 등으로 (각각 점수를 부여하여). 목표는 사용자의 패턴을 파악하는 것이며, 그렇게 되면 나중에 그들과 대면할 때 추측이 아닌 증거가 있게 됩니다.
최종적인 모더레이션 결정은 여전히 인간이 내릴 것입니다. 다만 주요 차이점은, 그 인간들이 더 빠르고 정확하게 결정을 내릴 수 있도록 더 많은 데이터를 갖추게 된다는 점입니다. 모든 사례가 대면 처리되어야 하는 것은 아니지만, 일부는 필요합니다.
다양한 동기를 감지하는 방법이 있을 수 있습니다. 작성기가 오랫동안 열려 있고, 탭이 포커스를 잃은 후에 여러 번 붙여넣기가 이루어진 게시물은 아마도 AI 텍스트 주입이 아닐 것입니다.
Discourse가 이미 제공하는 데이터는 모더레이션 결정을 훨씬 쉽게 만들어 주었습니다 — IP 주소의 위치, 사용자 이름, 첫 게시물 내용, 너무 빠르게 타이핑했는지 여부, typing_duration_msecs, composer_open_duration_msecs 등 기본적인 것들만으로도요.
구글의 기능이 성공적으로 안착한다면, 몇 가지 더 많은 필드가 유용할 것이라고 생각합니다. Discourse가 정교한 AI 감지기를 구축하지 않더라도, 데이터베이스에 해당 데이터를 수집해 두면 다른 사람들이 플러그인을 개발하는 데 도움이 될 수 있습니다.
이전에 눈치채지 못했는데, 여기서 영어로 번역되는 “AI” 기능이 표시되는 것을 방금 보았습니다. 저는 개인적으로 제 포럼에서는 그렇게 하지 않을 것입니다. 사용자들이 원문(raw content)으로 자신의 모국어로 작성하게 하고, 다른 사용자에게 표시하기 전에 번역기를 실행하는 방식을 선호합니다. 위에서 언급한 "미래의 번역 소프트웨어가 현재의 것보다 더 좋아질 것"이라는 코멘트에서 제가 의도한 바가 바로 그것입니다. 사용자의 모국어를 저장해 두면, 2030년대와 2040대의 더 나은 번역 소프트웨어를 적용할 수 있고, 그 언어를 사용하는 사용자들은 영어로 번역했다가 다시 역번역하는 과정을 거치지 않고도 콘텐츠를 읽을 수 있게 됩니다.
