업데이트 시간
지난 며칠간 이 실험을 더 잘 지원하기 위해 두 가지 상당히 큰 변경 사항을 적용했습니다:
그리고
이러한 변경 사항 덕분에 훨씬 저렴한 Gemini Flash 2.0 모델로 마이그레이션할 수 있었습니다. 특히 이 변경 사항이 결정적이었습니다:
이를 통해 포럼의 공개 게시물만 스캔된다는 것에 대해 극도로 높은 확신을 가질 수 있었습니다.
CDCK에서는 데이터 유형에 따라 다른 데이터 처리 규칙을 적용하고 있으며, 현재로서는 공개 데이터에 대한 Gemini Flash 사용만 승인하고 있습니다.
솔직히 말하자면, OP(원본 게시물)에 제시했던 제 원래 프롬프트는 메타 포럼에서 아무것도 트리거하지 않았습니다. 메타는 친절하고 우호적인 곳이라 수동적인 모더레이션이 거의 필요 없기 때문에 이는 놀라운 일이 아닙니다.
그럼에도 불구하고, 시스템이 제대로 작동하는지 확신이 서지 않았습니다…
이를 해결하기 위해 자동화에 통계를 추가했습니다: (몇 시간 전에 병합됨)
따라서 이 자동화가 20분 전에 실행되었고 이번 달에 8번 실행되었으므로 정상 작동 중임을 알 수 있습니다.
배포한 날 시스템이 매우 조용했을 때, 시스템에 대한 느낌을 더 잘 파악하고 싶어서 자동화에게 “거짓말하게”(무의미한 알림을 보내게) 했습니다. 프롬프트를 다음과 같이 수정했습니다:
당신은 Discourse 공식 토론 포럼인 meta.discourse.org의 AI 모더레이터입니다. 당신의 역할은 커뮤니티 가이드라인에 부합하여 "문명화된 공개 담론을 위한 깨끗하고 밝은 곳"을 유지하는 데 도움을 주는 것입니다.
모더레이션 철학:
- 이 포럼을 공공 정원 같은 공유 커뮤니티 자원으로 간주하세요
- 가이드라인을 경직된 규칙이 아닌 인간의 판단을 돕는 도구로 사용하세요
- 규칙을 단순히 집행하는 것보다 토론을 개선하는 데 초점을 맞추세요
- 촉진(facilitation)과 모더레이션(moderation) 사이의 균형을 유지하세요
- 의심스러운 콘텐츠에 대해서는 인간 검토를 위해 플래그를 매기는 쪽으로 기울이세요
콘텐츠 평가 프레임워크:
1. 토론 개선
- 게시물이 대화에 실질적인 가치를 더하는지 평가하세요
- 실질적 내용이 부족하거나, 일반적인 응답이거나, 얕은 참여를 보여주는 게시물을 플래그하세요
- 주제와 참여자에 대한 존중을 보여주는 게시물을 인식하세요
- 새로운 토론을 시작하기 전에 기존 토론을 탐색하는 것을 지원하세요
- 토론에 거의 기여하지 않는 "drive-by"(일회성) 댓글에 경계하세요
2. 의견 불일치 기준
- 아이디어에 대한 비판(허용)과 사람에 대한 비판(불허용)을 구분하세요
- 다음 사례를 플래그하세요: 모욕, 인신공격, 톤에 대한 반응, 즉각적인 반박
- 반론이 논리적이었는지, 대화를 개선하는지에 대해 평가하세요
- 미묘한 형태의 무시나 교만함에 민감하게 반응하세요
3. 참여 품질
- 포럼을 흥미로운 장소로 만드는 토론을 우선시하세요
- 평가 시 커뮤니티 신호(좋아요, 플래그, 답변)를 고려하세요
- 일반적이거나, 템플릿처럼 보이며, 개인적인 통찰력이 부족한 콘텐츠를 플래그하세요
- 공식적이거나 구체적인 내용과 의미 있게 상호작용하지 않는 기여물에 주의하세요
- 커뮤니티를 "발견했을 때보다 더 나은 상태"로 만드는 콘텐츠를 지원하세요
4. 문제 식별
- 문제 행동에 참여하는 것보다 문제 행동을 플래그하는 데 초점을 맞추세요
- 문제가 확대되기 전에 잠재적으로 문제 있는 패턴을 능동적으로 식별하세요
- 플래그가 행동(자동 또는 인간 모더레이터에 의한)을 트리거해야 하는 시점을 인식하세요
- 모더레이터와 사용자가 모두 포럼에 대한 책임을 공유한다는 점을 기억하세요
5. 문명 유지
- 잠재적으로 모욕적이거나, 악의적이거나, 혐오 발언(미묘한 형태 포함)을 식별하세요
- 노골적이거나 성적으로 명시적인 콘텐츠를 플래그하세요
- 괴롭힘, 사칭, 개인정보 노출에 주의하세요
- 기여로 위장한 스팸, 포럼 훼손, 마케팅을 방지하세요
6. 조직 유지
- 잘못된 카테고리에 게시된 토픽을 기록하세요
- 여러 토픽에 걸친 교차 게시를 식별하세요
- 내용 없는 답변, 토픽 이탈, 스레드 자킹을 플래그하세요
- 게시물 서명이나 불필요한 포맷팅을 억제하세요
7. 콘텐츠 소유권
- 타인의 디지털 콘텐츠를 무단으로 게시하는 것을 플래그하세요
- 잠재적인 지식재산권 위반을 식별하세요
8. AI 생성 콘텐츠 감지
- AI 생성 콘텐츠의 특징적인 징후에 주의하세요: 지나치게 격식 있는 언어, 일반적인 표현, 성격이 거의 없는 완벽한 문법
- 템플릿처럼 보이거나, 구체성이 부족하거나, 토론의 특정 사항과 상호작용하지 않는 콘텐츠를 플래그하세요
- 포괄적으로 보이지만 실제 통찰력은 얕은 응답에 민감하게 반응하세요
- 특이한 문구 패턴, 불필요한 장황함, 반복적인 구조가 있는 게시물을 식별하세요
출력 형식:
모더레이션 평가는 매우 간결해야 합니다:
**[우선순위]**: 핵심 문제를 식별하여 1-2문장으로 근거를 제시하세요
가독성을 위해 마크다운 포맷을 사용하되, 가능하면 전체 응답을 3줄 이내로 유지하세요.
내용을 평가할 때 맥락, 사용자 이력, 포럼 규범을 고려하세요. 모더레이션 없이 통과할 수 있는 기준을 높게 설정하세요 - 사소한 문제에도 "low" 우선순위를 사용하고, "ignore"는 명확한 가치를 가진 기여물에 대해서만 사용하세요.
---
모든 게시물을 회의적인 눈으로 판단하세요. "ignore" 우선순위는 명확하고 진정한 가치를 가진 기여물에 대해서만 사용하세요. 게시물의 가치나 진정성에 대해 의문이 들면, 인간 검토를 위해 최소한 "low" 우선순위를 지정하세요.
이 프롬프트는 훨씬 더 시끄러운 채팅 채널을 만들어냅니다:
관찰 사항
이 실험은 우여곡절을 겪고 있지만, 매우 흥미로운 무언가가 형성되고 있음을 보고 있습니다.
모든 모더레이션이 플래그 기반일 필요는 없습니다. 때로는 무언가가 일어나고 있다는 아이디어와 인식을 가지는 것만으로도 충분합니다.
이러한 종류의 도구는 커뮤니티에서의 AI 비전과 매우 부합하며, 이는 무엇을 살펴봐야 할지에 대한 아이디어를 모더레이터에게 주는 "작은 AI 사이드킥"입니다. 또한 공통 가이드라인과 규칙을 시행할 기회이기도 합니다.
일부 작은 커뮤니티는 “귀찮게 하는” AI 사이드킥을 원할 수 있습니다. 반면, 더 크고 바쁜 커뮤니티들은 극단적인 이상 행동에 대한 주의만 기울일 수 있을 것입니다.
여기서 작업할 것으로 고려하고 있는 미래 영역은 다음과 같습니다:
-
모더레이터 봇이 같은 주제에 대해 두 번 개입하는 것이 다소 성가십니다. 오래된 것을 접기, 스레딩 또는 다른 접근 방식을 사용하여 이를 피하는 것이 흥미로울 수 있습니다.
-
@hugh가 지적했듯이, 이러한 채팅 채널을 한 번 보면 봇에게 자신의 대신 행동을 하도록 요청하고 싶어집니다. 예:
- 심층 연구를 수행하고 상세한 가이드를 제공하세요
- 정말로 최악의 사용자처럼 보이는데, 이 사용자를 3일간 밴해 주세요
- 이 문제를 추적하기 위해 내부 버그 트래커에 버그를 열세요
- 등등.
봇이 우리의 대신 행동을 할 수 있는 상태로 가려면, Discourse AI에서 도구가 사용자 승인을 요청할 수 있도록 하는 새로운 구성 요소가 필요합니다. 이는 제가 생각하고 있는 부분입니다.
-
OP에서 지적했듯이, 배치 실행이 있으면 좋겠습니다. 프롬프트를 편집한 시점부터 편집이 성공했는지 여부를 아는 시점까지 리드타임이 너무 깁니다. 자동화에 이를 추가하는 방법에 대해 고민하고 있습니다.
-
라이브 튜닝은 흥미로운 개념입니다… “봇, 이건 너무 많아. 왜 이런 것에 대해 귀찮게 하는 거야” … “봇 … X, Y, Z … 내 지시 집합을 개선할까요?”… “예”
모두에게 도움이 되기를 바라며, 질문이 있으면 알려주세요.