안녕하세요,
제 플랫폼(마데이라 섬을 위한 다국어 비즈니스 디렉터리인 madeira.community)에서 콘텐츠 모더레이션을 위해 “AI를 이용한 트리아지(Triage) 게시물” 자동화 기능을 설정했습니다.
이 자동화 기능은 공개 게시물에 대해서는 완벽하게 작동합니다. 하지만 “개인 메시지 포함” 옵션을 활성화했는데, 일반 사용자 간의 DM(다이렉트 메시지)은 전혀 스캔되지 않는 것을 발견했습니다.
제 우려는 실재합니다: 악의적인 행위자들은 약물 거래, 도난된 금융 정보 공유, 미성년자 유인(grooming) 등 불법적인 활동을 사적으로 수행하면서, 공개 콘텐츠에서는 정상적으로 작동하는 AI 모더레이션을 완전히 우회할 수 있습니다.
질문 사항:
“개인 메시지 포함” 옵션이 실제로 일반 사용자(스태프가 아닌) 두 명 사이의 DM 스캔을 지원하는가요?
만약 그렇지 않다면, 이는 의도된 설계인지 알려진 제한 사항인가요?
일반 사용자 간의 개인 메시지에 AI 트리아지를 적용할 수 있는 지원되는 방법이 있나요?
"기본적으로 LLM 트리아지에서 PM 스캔 건너뛰기"라는 커밋에 대한 참조를 찾았는데, 이것이 의도된 것일 수 있음을 시사합니다. 하지만 UI에 해당 옵션이 존재하므로, 이 옵션이 실제로 무엇을 하는지 혼란스럽습니다.
감사합니다
RGJ
4월 5, 2026, 4:14오후
2
네, 해당 옵션을 활성화하면 PM이 스캔되어야 합니다.
어떻게 그렇게 확인하셨나요?
“일반 사용자 두 명(testUser와 darinauser, 둘 다 스태프가 아님) 사이에 명확히 불법적인 내용인 ‘코카인. 무기. 수류탄’과 ‘포르노. 더러운 것. 음란. 폭력’을 담은 비공개 메시지를 보내서 테스트했습니다. 메시지는 전달되었지만 플래그가 지정되지 않았습니다. 검토 대기열(Review Queue)은 비어 있었습니다. 같은 내용을 공개 게시물에 올리자 즉시 플래그가 지정되었습니다.”
RGJ
4월 6, 2026, 3:30오후
4
해당 항목들이 처리되지 않았다는 것을 확인했습니다. 해당 개인 메시지(PM)의 토픽 ID(210, 211, 212, 214)와 게시글 ID는 ai_api_audit_logs 테이블에 존재하지 않습니다.
"토픽 유형"의 "모든 토픽"은 개인 메시지가 아닌 모든 토픽을 의미한다고 생각합니다.
"성공했습니다! Richard님 감사합니다. Topic Type를 비워 두니 문제가 해결되었어요 — 이제 일반 사용자 간의 DM이 스캔되고 있습니다.
이제 두 가지 별도의 자동화를 설정할 계획입니다:
엄격한 모더레이션 프롬프트를 사용하는 공개 게시글용
가벼운 프롬프트를 사용하는 개인 메시지용 — 가장 심각한 위반 사항(CSAM, 마약 거래, 무기)만 플래깅
이렇게 하면 공개 콘텐츠는 전면적인 모더레이션을 받고, 개인 대화에는 더 적절한 경계가 적용됩니다."
이 토픽은 닫을 수 있습니다. 감사합니다!
음, 이 맥락에서 "모든 주제"라는 표현이 약간 모호해 보입니다… 명확성을 위해 업데이트하는 것이 좋을 것 같아요
모든 주제 주제 (모든 카테고리 포함) 공개 주제 (모든 보안 카테고리 제외) 주제 (공개 카테고리만) 개인 메시지 만
“모든 주제”라는 문구를 보고 모든 콘텐츠가 검토될 것이라고 생각했습니다.
RGJ
4월 6, 2026, 4:26오후
8
단일 드롭다운은 상당히 제한적이라고 생각하며, 세 개의 별도 옵션이 더 좋고, 사용자에게 훨씬 명확할 것입니다.
공개 주제 예/아니오
비공개 주제 예/아니오
개인 메시지 예/아니오
총 8가지 가능한 상황이 있는데, 드롭다운은 그중 네 가지만 처리합니다.
RGJ
4월 6, 2026, 4:58오후
10
이는 “일반 주제(공개 및 비공개 모두 포함)는 하지만 개인 메시지는 제외”라는 꽤 논리적인 선택을 다루지 않습니다.
그리고, 가능성이 낮긴 하지만 “공개 주제와 개인 메시지”라는 선택지도 있습니다.
