이 질문은 모든 포럼 소유자/관리자를 위한 것입니다. AI를 사용하여 포럼을 자동으로 탐색하고, 최근 몇 개의 댓글을 자동으로 읽은 후, AI가 자동으로 답글을 작성해 게시하는 사용자들에 대해 어떻게 생각하시나요? 그들은 실제로 포럼에 참여하지 않아도 되면서, 포럼의 신뢰도 기반 제한 섹션에 접근할 수 있는 더 높은 신뢰 등급을 얻기 위해 이 같은 행동을 하고 있습니다.
여러분은 이러한 사용자들을 능동적으로 관리하고 계신가요? 어떤 글이 AI에 의해 작성되었는지 어떻게 판단하시나요? 아니면 그냥 무시하고 계신 건가요?
더 나쁜 경우도 있습니다. AI를 이용해 한 소켓펫트(가짜) 계정이 새로운 주제를 올린 후, 얼마 지나지 않아 새로운 사용자(대부분 같은 사람이 운영하는 계정일 것으로 추정됩니다)가 답글을 남겨 OP(글쓴이)의 의견을 지지하고 칭찬하는 것을 여러 번 목격했습니다.
이런 행동을 본 적은 없지만, 제 입장에서는 계정 정지 처리하겠습니다. 만약 정상적인 회원이었다면 경고 조치였겠지만, 이 상황으로 보아 전혀 기여한 적이 없는 것 같습니다.
LLM(대형 언어 모델) 기여에 대해 명시적인 정책을 두는 것이 도움이 될 것 같습니다.
음, 이 문제를 어떻게 처리해야 하는지에 대해 제 질문은, 신뢰도 기반 제한 콘텐츠 자체를 얼마나 중요하게 생각하는지, 그리고 해당 콘텐츠에 대한 접근을 얼마나 중요하게 생각하는지에 따라 달라질 것입니다.
만약 사람들이 '시스템을 악용’하여 접근하지 않기를 원하는 콘텐츠라면, 그러한 행위를 막는 방법을 찾아봐야 할 것 같습니다.
그 이유는 이러한 행동이 매우 흔하기 때문입니다. 로버트의 예를 보세요:
아… 여기서는 매일 이런 일이 벌어집니다.
어쨌든
많은 경우, 단순히 글을 읽어보면 인간 관리자에게 꽤 분명하게 드러나지만, 그것은 관리자의 시간을 요구합니다. 일부 관리자는 AI를 잡아내기 위해 AI를 활용하고 있습니다(웃기죠?)
유사한 논의는 여기서 확인하세요:
사용 중인 user-agent를 분리할 수 있거나, 해당 에이전트가 제어 표준을 준수하는 경우, 이를 차단하거나 속도 제한(rate limiting)을 적용하거나 llms.txt를 사용하는 것을 고려해 볼 수 있습니다.
이 방법들은 자동화 시스템이 정중한紳士처럼 행동할 때만 효과적입니다.
특정 지역이 문제가 되는 경우, 지리 기반 차단(geo-blocking)을 사용하는 것도 항상 가능합니다.
저는 AI 탐지 에이전트를 사용해 신규 또는 신뢰 수준이 낮은 트래픽을 선별하고 있습니다. 이 방법은 약 95% 이상의 정확도를 입증했습니다.
이는 악의적인 행위자의 수준에 따라 달라지지만, 충분한 노력과 테스트를 통해 그들보다 한 수 위가 될 수 있습니다. 
저도 이런 경우를 꽤 많이 봤습니다. 물론 동기에 대해서는 단정할 수 없지만, 제 경험상 "신뢰를 얻으려는 시도"보다 훨씬 흥미가 없습니다. 그냥 스팸이라고 생각합니다.
요즘 스팸에는 AI 학습 데이터셋과 GEO도 포함됩니다. 여기서 GEO란 인터넷 여기저기에 제품, 서비스 또는 회사를 단순히 _언급_하는 것이 이들에게 유리한 상황입니다.
때로는 링크를 삽입할 만큼 충분한 신뢰를 쌓기 위한 목적이기도 하지만, 저는 이제 링크는 부차적인 것일 거라고 의심합니다.
지금까지 그 흔적들은 꽤나 뚜렷했습니다. 제 "솔직한 의견"은 "구조적 결함(load-bearing seams)"이 명확하게 드러난다는 것입니다. 저는 해당 주제를 보류 상태로 두면서 사용자에게 환영의 인사를 전하는 친근하지만(단, 템플릿 기반의) DM을 보내고, 다시 활성화하려면 저에게 답장하라고 안내합니다.
그 누구도 저에게 답장한 적이 없습니다.
다른 누군가가 제안했듯이, 게이트된 콘텐츠의 가치와 포럼에 대한 사용자 기여의 상대적 가치를 재고해 볼 필요가 있을 수 있습니다. 게이트된 콘텐츠에 접근할 수 없는 사람들이 의미 있는 기여를 할 수 있는 지식이나 기술을 갖추고 있을까요? 새로운 신뢰 등급을 얻기 위한 요건을 변경하여 쓰레기 게시물이 도움이 되지 않도록 하고, 사람들이 그렇게 유혹받지 않도록 명확히 하는 방법을 찾아보세요.
Ai 이전에는 새로운 사용자들이 의미 있는 기여를 하고 다음 신뢰 등급에 도달할 수 있었나요?
놀랍거나 당연하게도, 저는 이 포럼의 게시물에서 AI 헬퍼를 사용해 게시물이 AI로 작성되었는지 판별해 보았습니다(일부는 테스트용, 일부는 재미용). 스스로 먼저 그것이 정말 AI인지 판단한 후였습니다. 그리고 놀랍게도, AI/인간 작성 여부를 판별하는 정확도가 꽤 높았습니다.
사용자가 포럼을 문자 그대로 게임처럼 AI를 악용하고 있는 것이 명백했다면, 경고 1~2회 후 며칠간의 정지를 제안하겠습니다.
나는 근본 원리로 돌아가야 한다고 생각한다. 그들이 생성하는 콘텐츠가 더 넓은 커뮤니티에게 가치 있는가? 그렇다면 그것이 어떻게 생성되었는지는 중요하지 않다. 그렇지 않다면 그 문제를 해결하면 된다. 누군가 소크펫(sockpuppet)을 이용해 대량의 쓰레기를 생성한다면, 그것이 AI든 인간이든 그 결과는 같아야 하지 않나?
저희 커뮤니티는 대기 상태에 있으며, 요즘 같은 시대에 거의 아무도 정책이나 원칙을 존중하지 않기 때문에 이 문제에 대해 많이 고민했습니다. 그래서 사용자가 접근 권한을 얻기 위해 특정(인간) 퀘스트를 수행해야 하는 맞춤형 신뢰도/카르마 시스템을 구현했습니다.
처음에는 기준을 아주 낮게 설정할 예정이지만, 여기서 언급한 것과 같은 행동이 보인다면 LLM을 사용하여 자동화하거나 달성하는 것을 지루하게, 귀찮게, 또는 거의 불가능하게 만들기 위해 기준을 높일 것입니다.
저희 커뮤니티는 인간 상호작용에 기반합니다. 중앙 집중식 시스템이 우리의 철학과 맞지 않아 디스코드를 떠났습니다. 언젠가 AI가 생성한 라이브 카메라도 볼 수 있을 것 같아, 그에 대한 대응 방안도 계획해야 합니다.
저는 인터넷 생활에서 몇몇 포럼을 관리하고 운영해 보았고, 강압적이거나 처벌적인 조치는 오히려 역효과가 난다는 것을 뼈저리게 배웠습니다. 그것들은 항상 최후의 수단이어야 합니다.
아시죠, *“트롤에게 먹이를 주지 마라”*는 어디에나 적용됩니다.
솔직히, TL 시스템이 우리 층별 방어의 핵심인 만큼, 이 시스템이 제대로 작동하지 않기 시작하는 건 아닌지 걱정됩니다. 메타에서는 그런 현상이 보이지 않는데, AI 스팸 감지나 TL 설정을 커스터마이즈한 건가요?
솔직히 말해서, 내 안의 90년대 영화 매니아를 계속 살려두며, 나는 라틴아메리카 출신의 이 니치 커뮤니티를 재개할 것입니다. 그리고 전 세계에 이를 개방할 예정입니다. 포럼은 살아남아야 한다고 믿기 때문이죠. 몇 년 안에 우리—인간—는 세계 인구의 0.5~1%에 불과해질 것이라고 생각합니다.
Digg는 사라졌고, Stack Overflow도 사라졌습니다. Reddit은 더 이상 인간 중심이 아닙니다. 저는 그 자리에 있었고, 실제 괴물이 다가오는 것을 보고 탈퇴했습니다. API에 대한 제한, 대체 클라이언트 금지, 어디에나 있는 쿠키, 인간에게 '봇이 아님을 증명하라’고 요구하는 캡차, 모든 상호작용에 대한 지문 추적 등입니다.
우리 커뮤니티를 재개하면 스팸 봇에 열릴 것이지만, 우리는 (저는) 항상 자체 호스팅을 좋아하기 때문에 인프라에 대한 더 많은 공격을 예상합니다. 그래서 저는 SEO에 대한 모든 것을 잊고, 가능한 모든 것을 제한하며, ‘우리’ 사이의 상호작용을 유지하고, 암호화를 배우고, 탈중앙화 네트워크를 통해 배포하며, Dumbcourse를 통해 Discourse를 사용할 수 있는 Tor에 있는 방법을 선택했습니다.
그것은 마지막 방어선이며, 지금은 필요하지 않지만, 제 디스토피아적인(듣거나 읽는 사람에 따라 미친 사람으로 여겨질 수도 있는) 면은 항상 대기 상태에 있습니다. 우리는 영화에서 본 것을 알고 있죠: 에이전트, 거미, 완전한 통제, 그리고 거의 모든 사람에 대한 환상.
다시 Discourse로 돌아가 말하자면, 우리는 다수가 따르는 것과는 다른, 비범한 일을 하고 있기 때문에 스팸 남용을 기대하지 않습니다. 하지만 많은 사용자가 자신의 상호작용에서 AI를 악용하여 실제보다 더 좋아 보이려 할 것이라고 예상합니다. 그것은 불가능할 뿐만 아니라, 개선을 원한다면 누구나 할 수 있는 최악의 결정이기도 합니다.
따라서 우리는 리더를 따르는 감성적인 군중에서, 에이전트를 차단하는 신뢰할 수 있는 모더레이터 그룹으로 전환할 것입니다. 저는 Discourse의 신뢰 수준 시스템이 훌륭했다고 생각하지만, 현재와 같은 세상에서는 장려되지 않습니다. 사람들은 즉시 모든 것을 얻도록 훈련되어 왔고, 그 대가로 거의 가치 있는 것을 얻지 못합니다.
일반적인 배지/신뢰 시스템 대신 구식 시스템을 만들기로 한 제 결정은 모든 노이즈를 제거할 것이며, 저는 세계 최고의 팀이 이끄는 포럼을 위해 최고의 플랫폼을 선택했다고 생각합니다. 모든 것이 어디로 향할지 지켜보겠습니다.
당신의 글과 미토시스 또는 독성 단편화에 관한 글을 읽었습니다. 사람들이 실제로 살고 소유한 것에서부터 글을 쓰는 것을 읽는 것은 항상 아름답습니다. 당신이 ‘죽은 인터넷’ 이론에 익숙하다는 것에 기쁘게 놀랐습니다. 이제 그것이 현실이 되었습니다.
스팸에 대한 재답변입니다. 약 2년 전, 모든 면에서 형편없었던 노후되고 쇠퇴해가는 플랫폼에서 Discourse로 이전했습니다. 당시에는 스팸을 제때 막아내는 것이 불가능에 가까웠습니다.
Discourse는 이 문제를 확실하게 막아주었고, AI 감지 기능이 활성화되었을 때 그것은 게임체인저였습니다.
통과된 스팸 토픽을 떠올릴 수조차 없습니다. 신규 회원에 대한 몇 건의 오인(거짓 양성)은 있지만, 큰 문제는 아니며, 이전과 비교하면 그 비용은 아무것도 아닙니다.
대량의 계정을 생성하던 일부 지역(Geo)을 차단할 수 있었고, 이로 인해 스팸 수준이 부담이 되거나 걱정할 가치가 없을 정도로 낮아졌습니다.
Discourse에서 제가 좋아하는 점은 문제를 해결할 때의 유연성, 끊임없는 발전, 그리고 팀의 도움 의지입니다. 이는 상쾌한 변화입니다.
메타 커뮤니티 전체가 가지고 있는 인터넷 구축 경험만큼 나는 모두 갖추고 있지 않습니다. 왜냐하면 저는 항상 선정적이거나 작거나 니치한 장소들에서만 활동해 왔기 때문입니다. 저는 피어 투 피어(P2P) 시스템의 기초를 마련하는 데 약 10년을 보냈고, 영어도 불과 몇 년 전에야 이해하기 시작했기 때문에, 저는 사실상 큰 흐름에서 벗어나 있었습니다.
그동안 저는 Ghost CMS에서 스팸 공격을 받았고, 시스템이 이를 처리할 준비가 되어 있지 않아서 가입 기능을 비활성화해야 했습니다. 정말 미친 일이었습니다. 한 달 동안 SMTP 서버 리소스를 2년치 분량만큼 사용했으니까요.
선정적인 커뮤니티를 유지하는 것은 계정에 대한 인간적 검토를 가능하게 합니다. 저는 이것이 크롤러/봇을 막아내는 유일한 신뢰할 수 있는 방법이라고 생각합니다. 요즘에는 그들이 넘지 못하는 시스템이 없습니다. 그들이 관리하는 컴퓨팅 역량은 진화하고 있으며 매일 더 강력해지고 있습니다.
좋은 도구들은 항상 도움이 될 것입니다. 하지만 진정한 방어는 우리 자신에게 달려 있습니다.
저는 그것이 중요하다고 생각합니다. 일부 사례에서는 스팸러들이 AI로 생성한 감정적 질문을 올렸고, 우리 커뮤니티는 그 질문에 상당한 시간을 함께 쏟아부었습니다. 그런데 결과적으로 ‘OP’(질문자)가 돌아와 스팸 링크를 떨어뜨리거나, 질문을 사후 수정하여 링크를 포함시키는 경우가 있었습니다. 전환점 이전에는 명백한 트롤처럼 보이지 않았지만, AI 생성의 흔적이 종종 드러났습니다.
사람들은 그렇게 속을 수만 있습니다. 그것은 커뮤니티의 호의(선의)를 파괴합니다.
질문자님의 포럼만이 유일한 표적은 아닐 것입니다. 이 점을 고려할 때, 이 같은 행위를 저지르는 주체는 원본 주제 작성에 시간을 들이기를 원하지 않을 가능성이 큽니다. 따라서 AI 생성 게시물은 전체적인 작업 흐름에서 시간을 절약해 줍니다. 그러므로 AI 작성 게시물을 차단하는 경계는 스팸 공격을 줄이는 데 가치 있는 방법일 수 있습니다.