큰아들은 챗GPT의 어리석은 답변들을 담은 기사나 게시글을 나에게 보내는 것을 즐깁니다. 저는 그에게 챗GPT 기술이 수학 같은 많은 분야에서 아직 초등학교 2~3학년 수준에 머물러 있다고 계속 말해 줍니다. 몇 년 전 제 교수님 중 한 분이 하신 말처럼, 이 시스템은 자신이 모르는 것이 무엇인지조차 모릅니다.
아직 케이크를 굽는 레시피를 물어보지는 않았지만, 틀린 부분이 나올까 봐 상상만 해도 소름이 돋습니다. (온라인에는 전혀 쓸모없는 인간이 올린 레시피를 너무 많이 봤거든요.)
페이스북과 트위터가 발명되면서 의미 없는 대화가 인터넷을 장악하기 시작했다고 생각합니다. USENET이 아직 '읽는 법을 아는 사람들을 위한 비디오 게임’이라고 부를 수 있을 정도로 정확했을 때를 기억하는 우리 세대라면, 그 시점을 더 과거로 거슬러 올라갈지도 모릅니다.
저희도 현재 이 문제를 크게 체감하고 있습니다. 무료이고 개방적인 Discourse 포럼을 운영하면서, 기존 스팸 방지 시스템을 쉽게 우회하는 ChatGPT 스타일의 스팸봇을 수없이 보고 있기 때문입니다.
현재 Akismet은 이러한 봇들의 속도를 따라가지 못하고 있습니다. 과거에 비해 이렇게 많은 스팸 계정이 방어선을 뚫고 들어온 적은 처음입니다. 이 봇들은 질문에 답하거나(또는 질문을 다시 표현한 뒤 답을 제시) 상당히 장황하지만 유용해 보이는 답변으로 보이는 무해해 보이는 댓글을 남기는 경향이 있습니다. 하지만 원래 질문의 맥락이나 뉘앙스가 빠져 있는 경우가 많습니다.
저는 Discourse 포럼이 10년 전 WordPress 사이트가 그랬던 것과 유사한 이유로 테스트베드로 이용되고 있다고 추측합니다. 이는 비교적 널리 사용되고 있는 오픈소스 기술이기 때문에, 한 포럼의 가입 플로우를 처리할 수 있는 봇은 아마도 다른 많은 포럼에도 접근할 수 있을 것이기 때문입니다.
현재 저희는 전통적인 스팸봇의 행동 패턴(계정 생성, 스팸 방지 조치를 통과할 수 있을 만큼 무해해 보이는 내용 게시, 그리고 48시간 이내에 링크를 추가하기 위해 편집)은 관찰하지 못하고 있습니다. 그래서 이 문제의 최종 목표가 무엇인지 정확히 파악하기 어렵습니다. 단순히 저희가 해당 게시물을 너무 빨리 삭제하고 있어서, 나중에 백링크 팜으로 편집될 기회를 못 잡고 있는 것일 수도 있습니다.
모두 안심할 수 있습니다. 상무부가 AI에 적절한 '가드레일’을 마련하기 위한 계획을 발표했으니까요.
WSJ 보도:
"상무부 산하로 이번 의견 수렴을 발표한 국가통신정보관리국(National Telecommunications and Information Administration)을 이끄는 앨런 데이비슨은 '이 도구들이 아직 초기 단계임에도 불구하고 어떤 일을 할 수 있는지 보는 것은 놀라운 일입니다. 우리가 책임감 있게 사용되도록 보장하기 위해 몇 가지 가드레일을 마련해야 한다는 것을 알고 있습니다’라고 말했습니다.
네… 단, 텍스트가 실제로 여전히 인간 참가자에 의해 작성된다는 전제에서라면요.
하지만 점점 더 그럴 가능성은 낮습니다. 그래서 문제가 되는 거죠.
AI는 여러분이 설명한 모든 상황을 점점 더 악화시키고, 탐지하기는 점점 더 어려워지게 만들 것입니다.
책의 저자가 누구인지는 별개의 문제입니다. 온라인 토론에서 실제로 누구와 대화하고 있는지 더 이상 알 수 없게 되는 것은 또 다른 문제입니다. 텍스트가 개인에 의해 진정으로 작성된 것이 아니라 AI를 사용하여 작성된다면, 글에서 얻을 수 있다고 생각했던 모든 단서들이 왜곡됩니다.
원칙적으로는 동의하지만, 기계 생성 텍스트를 식별하는 기준은 끊임없이 변하는 목표와 같습니다. 좋은 소식은 크롬 확장 프로그램이 아직까지 매우 제한적인 테스트 범위 내에서라도 오탐(False Positive)을 일으키지 않았다는 점입니다. 나쁜 소식은 관리자들이 판정을 내리기 위해 추가적인 업무를 수행해야 하고, AI 생성 텍스트의 품질이 점점 좋아짐에 따라 최신 감지 도구를 계속 추적해야 한다는 점입니다. 결국 AI 텍스트는 감지가 어려워지는 수준에 도달하게 될 것입니다.
그렇습니다. 하지만 저는 이를 콘텐츠 관리(모더레이션) 문제로 보고 있습니다. 우리 인간 모더레이터들은 이미 대립적이거나, 무례하거나, 모욕적이거나, 반복적이거나, 오해를 불러일으키는 게시물을 주시하고 있습니다. 이는 그 연장선상에 있습니다. "실제 인간은 경고 표시 없이 기계 생성 텍스트를 게시하지 않는다"는 지역적 문화 규범이 존재하기 때문에, 특히 비교적 신규 사용자의 경우 기계 생성 텍스트로 보이는(또는 그런 느낌이 드는) 모든 게시물은 자동으로 의심의 대상이 됩니다.
인간의 뇌, 특히 모더레이터의 뇌는 기계 생성 텍스트를 합리적으로 잘 식별할 수 있게 될 것이라고 생각합니다. 기계 생성 텍스트가 대화를 진전시키는 유용한 게시물과 구별할 수 없을 정도가 되면, 더 이상 문제가 되지 않습니다. (낮은 노력과 낮은 가치를 가진 게시물을 작성하는 사람들은 페널티를 받을 수 있습니다.)
다른 AI들은요? 그리고 서로 의견이 일치하나요 
