효과적인 플래그 무결성 관리 부재

과거와 현재의 모든 플랫폼은 모데레이션 실패를 공유하고 있습니다.

‘아이디어의 낙원(idea shangri la)’ 같은 커뮤니티에서는 권한이 있는 멤버나 플래깅 시스템 없이 개인적인 수준에서 내부적으로 모데레이션이 이루어집니다… 그러나 인류는 아직 그 정도의 깨달음에 도달하지 못했습니다.

모데레이션에서의 개인적 편견을 줄이는 데 도움이 되는 중립적인 통제를 마련하는 것이 핵심입니다. 통제가 없거나 사후 감사(audit)가 이루어지지 않는 정부에서 흔히 볼 수 있듯이, 권력은 가장 선의가 있는 개인조차도 부패시킬 수 있습니다. 물론 모든 개인이 그런 것은 아닙니다.

그러나 톨킨은 가장 순수한 마음조차도 결국 원반(the One Ring)에 의해 부패하기 시작할 것이라고 말했죠.


유혹을 제거하면 흔들릴 가능성이 사라집니다.

저는 DOS 시절의 Fido 네트워크부터 함께해 왔습니다. 과거에서 배우지 못하고 터널 시야(tunnel vision)로 미래를 제한하기 때문에 역사는 반복됩니다.

2개의 좋아요

아이고, 무시당한 기분입니다. 특히 메타모더레이션(중재) 아이디어는 당신의 생각과 대화하고 있다고 봅니다.

메타모더레이션은 무엇을 의미하나요?

1개의 좋아요

나는 무시당한다고 느끼지 않을 것 같아. Discourse의 가장 큰 장점 중 하나는 대부분의 작업이 어떤 형태로든 가능하다는 점이야.

시간이 지나면서, 개발자들이 처음에는 반대했던 아이디어가 결국 핵심에 통합될 만큼 충분한 가치를 입증한 사례도 많아.

그런데 가끔씩 아이디어가 자신의 가치를 명확히 입증할 때까지는 무시당하는 경우가 얼마나 많은지 보면 흥미로울 때가 있어.

솔직히 말하면, Reddit의 느슨한 자원봉사자 기반 모더레이션이나 카르마 시스템은 정말 마음에 안 들어. YouTube는 한때 합리적인 :+1: :-1: 시스템이 있었지만, 지금은 업보트와 다운보트만 표시되고 나머지는 숨겨져 있어.

기본적으로 메타모더레이션은 커뮤니티가 빠른 스캔을 통해 모더레이터를 평가하는 방식입니다.

일부 기업에서는 직원들이 자신의 상사를 평가하도록 하며, 이러한 직원들의 리뷰 수와 상사의 상사가 내린 평가가 일종의 조합으로 합쳐집니다.

이것은 회원과 모더레이터 양쪽 레벨에서의 성장을 촉진하는 꽤 나쁜 시스템이 아닙니다.


저는 여러 차례, 자신이 관여된 것으로 알고 있는 모더레이션 조치에 대해 제가 불공정했다고 느끼는 회원들이 접근하여 피드백을 준 적이 있습니다. 그리고 그들은 성공적이었습니다… 그래서 저는 책임감 있게 해당 당사자들에게 사과하고, 커뮤니티 앞에서 제 실수 가능성을 인정하고 받아들였습니다. - 이렇게 하면 우리도 그저 인간일 뿐임을 보여줌으로써 모더레이터의 신뢰성을 높일 수 있습니다.

2개의 좋아요

Ed, 기억이 맞다면 이전에 사람들이 모더레이터로 뽑을 수 있는 플러그인이 있었던 것 같은데?

예전에는 좀 위험했을 수도 있었겠지만, 카테고리 모더레이터의 권한이 줄어들었으니 이제는 그렇게 큰 위험은 아닐 것 같아. 꽤 오래되었지만 어떤 플러그인이 있었던 것 같은데..

간단히 살펴본 결과, 이거야.

모더레이터 선출 목적으로 사용되고 있지는 않아. 이는 좋은 일이야. 풀 모더레이터(Full Mod) 권한은 관리자(Admin)로서 회사에서 그 재량권을 허용하는 경우 신중하게 부여해야 하는 직책이니까. :wink:

안녕하세요, 저는 OP(원문)에 인용되었습니다.

저는 필연적으로 일부 정치적 주제를 다루는 뉴스 사이트를 구축하려고 했습니다.
초기에는 제가 유일한 관리자/모더레이터가 될 예정이었습니다.
제가 많은 시간을 모더레이션에 할애하게 될까 봐 우려가 있었죠.

사용자 플래그(신고) 기능은 큰 도움이 되겠지만, 동시에 방해 요소(잘못된 신고)가 될 수도 있습니다.
사용자들이 정반대의 정치적 견해를 가지고 있다면, 그들이 동의하지 않는 의견을 검열하기 위해 플래그 시스템을 악용할 수 있습니다.

플래그 무결성(신뢰도)은 큰 도움이 될 것입니다.
잘못된 신고를 한 사용자에게 음의 가중치를 부여하고, 일정한 횟수 이상의 잘못된 신고가 쌓이면 그 사용자의 플래그에 가중치를 0으로 설정하는 방식이죠.
정확한 신고에는 양의 가중치를 부여하여, 해당 사용자의 향후 플래그에 더 많은 신뢰성을 부여하는 방식입니다.

제 경우에는 플래그 무결성 기능이 도움이 될 것입니다.
모더레이터 팀이 있는 경우에는 그 중요도가 낮아질 것입니다.
모더레이터의 게시물도 플래그 대상이 될 수 있다는 점은 고려해 본 적이 없습니다. 이건 경계 사례(에지 케이스)인 것 같습니다.

또한, 제가 원래 제안한 내용에 대해 OP가 좋아요를 눌러주기 전까지는 좋아요가 0개였기 때문에 (:heart: 감사합니다), 이 역시 경계 사례의 문제/해결책일 가능성이 높습니다.

3개의 좋아요

이 스레드에 제시된 수많은 구체적인 사항들이, 내가 사회의 일반적 메커니즘이나 디지털 커뮤니티의 사회학에 대한 논의를 시작하려는 시도의 예시가 되고 있으며, 이를 통해 원인, 결과, 가상의 반응, 디자인 가이드 및 패턴/안티패턴을 분리해 내고 있다는 사실에 대해 나는 웃음이 나기도 하고, 혹은 슬퍼하기도 합니다.

잘 이해된 문제 도메인은 단순한 해결책을 가질 수 있습니다(사전적 일관성의 높은 정도). 복잡한 도메인은 필연적으로 많은 구성 요소를 가지며, 주의와 정밀함을 통해 해결책에 도달할 수 있지만 일반적으로 취약합니다. 복잡계 도메인은 관련성과 관련 구성 요소에 대한 비전이 분리되지 않은 경우를 나타내며, 따라서 탐색적 접근이 필요합니다. 일관성은 사후적으로만 감지될 수 있습니다 — [이것은 애자일 소프트웨어 개발 운동의 철학적 핵심에 자리 잡고 있으며, 이를 통해 데일리 스탠드업이나 사용자 요구 사항에 기반하여 가꾸어지는 백로그를 가진 프로덕트 오너와 같은 구체적인 산출물을 생성합니다]

모더레이션 시스템이 단순한 문제를 처리할 역량만 갖추고 설정된다면, 복잡계를 이해를 통해 복잡 단계 너머로, 단순한 영역으로 이동시킬 기회는 결코 주어지지 않습니다.

나는 어딘가에서 메타의 차세대 온라인 커뮤니티에 대한 비전을 읽었다고 확신하지만, 현재로서는 모더레이션 입장으로 인해 그것이 불가능하다고 봅니다. 플래그 무결성 메커니즘은 관련성이 있을 수 있지만, 아마도 복잡하고 취약한 범주에 속할 것입니다. 또 다른 관련 구성 요소는 아직 일관된 스레드에 담기에는 명확하지 않은 사회학적 동인을 논의할 자유이며, 이는 미래에 도달하게 될 것입니다

지프, 안녕.

우리의 아이디어가 다소 다른 방향을 가지고 있을 수 있지만, 그래도 환영한다는 말씀에 감사드립니다. 물론 서로 관련이 있는 부분도 있죠.

정치적 주제도 마찬가지입니다. 여기에서 우리가 경험하듯, 유사한 목표나 종착점에 도달하는 방법에 대해 서로 다른 관점과 철학을 가지고 있으면 정렬(일치) 문제가 생깁니다.

모더레이터가 플래그를 어떻게 해결하느냐에 따라 일종의 플래그 정확도(신뢰도)가 결정됩니다.

예를 들어, 특정 사용자의 플래그에 대해 모더레이터가 동의하면 그 플래그 점수가 100%로 유지됩니다.

반대로, 플래그에 대해 거의 항상 이의를 제기하는 사용자가 있다면, 해당 플래그 점수는 %로 하락합니다.

제가 자원 관리자로 활동하는 한 포럼에서는, 새 사용자로 가입하여 다른 포럼 게시물의 링크를 대량으로 게시하는 매우 집요한 트롤이 있었습니다. 시스템은 그러면 해당 새 사용자와 모든 링크된 게시물을 플래그 처리했습니다. 문제는 해당 새 사용자 한 명뿐이었죠.

하지만 우리는 시스템이 발급한 수많은 잘못된 플래그에 대해 이의를 제기해야 했고, 그 결과 시스템 플래그 점수가 50%로 떨어졌습니다.

오, 정말 놀랍네요.

등잔 아래가 어둡다는 걸 깨달은 순간이네요.

즉, модератор들은 불만을 찾아내는 것이 장려받는다는 뜻이죠. 이는 메타(meta) 커뮤니티의 문화, 그리고 컨웨이의 법칙(Conway’s law)을 통해 확장된 다른 커뮤니티들의 문화의 일부를 설명하는 밈적 메커니즘일 수 있습니다. 또한 이는 Reddit이나 소스-무언가(포지?)에서 유래했을 수도 있는데, 두 곳 모두 제가 들어본 바로는 보상보다 처벌에 초점이 맞춰져 있다고 합니다.

이것은 제가 쓴 포스트에서 소문자 ‘c’로 쓰여지고 작은따옴표(’ ')로 인용된 'catholic’이라는 단어가, 종교를 가리키는 대문자 'C’로 쓰인 'Catholic’으로 취급되었던 이유를 설명해 줍니다. 소문자 'c’로 쓰여 작은따옴표로 인용된 'catholic’은 삶의 풍부한 다양성을 상징하는 용례였거든요.

명시적으로든, 의도하지 않은 결과로든, 어떤 행동을 장려하면 그런 행동이 나타납니다.

디스코드(Discord) 서버는 보통 거의 또는 전혀 모더레이션이 없는 덤프(dump) 카테고리/채널, 즉 “Free4all” 채널을 사용합니다. 이 채널은 공개적으로 볼 수 없으며, 연령 인증을 요구하거나 사용자가 접근을 신청해야 합니다. 다만 디스코드에서는 보통 연령 인증을 요구하는 경우가 많습니다.

디스코스 메타(Discourse Meta)가 #plugins 및 #customization:theme-component를 통해 확장 가능하도록 개방되어 있다는 점은 매우 긍정적인 선견지명이며, 이것이 성공을 거두는 매우 큰 이유입니다.

철학에 대한 공개적 토론을 유지하는 것도 중요하며, 서로 다른 관점(pov)에 대한 건강한 토론이 이루어져야 합니다. 토론이 오해되고 닫힐 때만 일이 늦어질 수 있습니다.

플래그 무결성 시스템(flag integrity system)은 존재합니다. 그러나 모더레이터 선택이 감히 말하지만 유능한 손에 있지 않은 경우, 모더레이터가 직접 감시(babysitting)하지 않는 한 이 시스템은 불공정합니다. 저는 제 사례 시나리오와, 관리자로서 유지보수/디자인 컨트롤을 담당하는 다른 위치에 있는 사람들에 대해서만 말씀드리고 있습니다. 이는 회사가 누가 모더레이터가 될지 결정하고, 개인의 도덕성 대신 시스템 제어를 의존하는 경우를 가리킵니다.

좋은 예가 있습니다. 제가 한 수업에 참여했을 때, 당시의 선생님이신 멘토가 한 번 이런 말씀을 하셨습니다.

“정치인은 문제를 봉합하기 위해 법을 만듭니다. 기술자는 문제를 해결하기 위한 솔루션을 만듭니다.”

이것은 매우 일반적인 진술이며, 기술자와 정치인 모두 문제를 해결하는 것이 아니라 문제를 만들어내는 사람들일 수도 있다는 점을 고려하지 못할 수 있습니다.

제 생각에는 그 이상의 의미가 있습니다.

기술자는 자신이 이해하는 문제를 해결합니다.

훌륭한 정치가는 사람들을 고무시킵니다.

가장 가치 있는 문제는 Horst Rittel이 정의한 바와 같이 '악질적인 문제(wicked problems)'입니다.

1개의 좋아요

나쁜 문제(wicked problem), 정말 좋은 표현이네요.

이 중 하나는 담론 플래그(discourse flags)와 관련될 수 있습니다. 플래그가 오용되거나 무시되는 경우 말이죠.

매우 나쁜 문제는 다음과 같은 상황에서 발생할 수 있습니다. 누군가에게 무엇인가에 문제가 있다고 보고하면, 그 사람은 "그 문제는 저기 다른 사람에게 말해야 합니다"라고 답합니다.

그 사람은 그 다른 사람에게 문제를 말하러 가는데, 그 사람도 같은 대답을 합니다. "방금 말씀 나누신 그 다른 사람에게 돌아가서 그 문제에 대해 말해야 합니다."라고요.

답변: “방금 그 사람에게 말했는데, 그 사람은 저에게 말하라고 했어요!”

그것에 대한 답변: “그렇다면 그 문제에 대한 도움을 받으려면 심리 치료를 받아보시는 게 어떨까요?”

심리 치료사가 말해줍니다: “말씀하시는 모든 것은 비밀이 보장되며, 저는 어떤 문제든 도움을 드릴 수 없습니다.”

Discourse의 모더레이션 시스템에는 여러분이 설명하신 방식대로 작동하는 가중치 시스템이 있습니다. 플래그된 게시물이 숨겨질 가능성은 플래그를 누른 사용자의 이전 플래그 신뢰도에 기반합니다. 점수는 스태프가 사용자의 플래그에 동의한 비율로 결정됩니다.

플래그 가중치 시스템이 Meta에 문서화되어 있다고 생각하지 않습니다. 이번 주 제 목표 중 하나는 이를 문서화하는 것입니다.

수정: 사용자의 이전 플래그에 따라 플래그가 어떻게 가중되는지 잘 문서화한 이 주제를 참고하세요: Managing user reputation and flag priorities.

7개의 좋아요

네, 좋은 아이디어네요 :bulb:

hide post sensitivity와 high trust flaggers auto hide posts 설정을 조정하면 플래그 숨김 민감도를 높이거나 낮출 수 있다고 생각합니다.

6개의 좋아요

@JammyDodger님의 의견을 다시 한번 강조하자면, 이 주제는 Community Building 카테고리에 속한다고 생각하지 않습니다. 이 카테고리는 커뮤니티를 출시하고, 구축하고, 성장시키고, 관리하는 것에 대한 토론을 위한 것입니다. 제 생각에는 이 카테고리가 주로 Discourse 사이트를 관리하는 사람들을 위해 마련된 것 같습니다. 저는 온라인 커뮤니티와 관련된 다양한 아이디어에 관심이 많기 때문에, 이 범위를 제 스스로 꽤 자주 넓혀서 사용하곤 합니다.

원글(OP)에는 Contribute > Feature 카테고리에 게시할 수 있도록 조금 더 다듬어질 수 있는 타당한 제안이 포함되어 있습니다.

Meta의 모더레이션에 대한 불만은 접수되었습니다. 커뮤니티 카테고리는 애매한 부분이 있는데, Meta는 예시로 사용하기에 명백히 적합한 사이트이지만, Meta의 모더레이션에 대해 불만을 토로하는 적절한 장소는 아니기 때문입니다.

제 관점에서 보면, 이러한 유형의 토론에는 사용자 생성 그룹이 유용할 것입니다. 자유롭게 가입하고 탈퇴할 수 있는 그룹에서 토론이 이루어진다면, 저는 기꺼이 참여할 의향이 있습니다. Meta의 모더레이션에 대한 불만을 제외하면, 여기서 논의되고 있는 많은 내용들에 관심이 있습니다.

이 주제를 닫겠습니다. 위에서 언급한 점을 염두에 두고, 여기서 소개된 아이디어에서 파생된 새로운 주제를 자유롭게 시작해 주세요.

4개의 좋아요