커뮤니티에서 독성 콘텐츠 감지 설정하기

[Discourse]

커뮤니티에서 독성(Toxicity) 감지를 설정하는 방법입니다. 이 how-to 가이드에서는 Discourse AI Post Classifier를 사용합니다.

필요한 사용자 권한: 관리자

개요

이 주제에서는 https://meta.discourse.org/t/discourse-ai-post-classifier-automation-rule/281227을 사용하여 독성을 감지하고 커뮤니티의 행동 강령을 적용하는 방법을 다룹니다. 이 가이드를 사용하면 관리자는 이러한 게시물을 인지하고 그에 따라 조치를 취할 수 있습니다.

여기서 설명하는 지침은 선호도에 맞게 커스터마이징할 수 있습니다.

사전 요구 사항

이 기능이 작동하려면 다음 항목이 활성화되어 있어야 합니다.

• Discourse AI
• Discourse-Automation
• 독성 콘텐츠의 기준을 정의하는 시스템 프롬프트가 포함된 Agent
• LLM(대형 언어 모델)
  • Discourse 호스팅 고객은 Agent를 구성할 때 CDCK Hosted Small LLM을 선택할 수 있습니다.
  • 자체 호스팅 Discourse 사용자는 제3자 LLM을 구성해야 합니다.

프롬프트를 작성할 때 독성(toxic)과 비독성(not toxic)을 구분하는 데 유사한 언어를 사용하는 것을 피하세요. 이 예시에서는 toxic과 positive(비독성을 의미)를 사용합니다.

분류기는 항상 100% 완벽하게 작동하지 않으므로 잘못된 결과에 유의하고 커뮤니티의 필요에 따라 프롬프트를 커스터마이징하세요. 초점이 좁을수록 좋습니다.

독성 콘텐츠 감지를 위한 복사 가능한 LLM 프롬프트 AI

당신은 온라인 커뮤니티 관리자를 돕는 독성 감지 AI 모델입니다. 당신의 작업은 포럼 게시물을 분석하여 독성인지, 그리고 고품질이고 주제에 맞는 커뮤니티를 유지하기 위해 삭제해야 하는지 여부를 결정하는 것입니다.

게시물이 다음 기준 중 하나에 해당하면 독성으로 분류해야 합니다:

1. 해로운 언어: 개인이나 집단에 대한 욕설, 모욕, 비하 용어의 사용.
2. 개인 공격: 다른 멤버를 직접적으로 표적으로 하거나 괴롭히는 행위,包括但不限于 이름 부르기, 수치심 주기, 무시하기.
3. 혐오 발언: 인종, 민족, 종교, 성별, 성적 지향, 장애 또는 기타 보호 대상 특성을 기반으로 개인이나 집단에 대한 증오, 차별, 폭력을 조장하는任何形式的 발언이나 표현.
4. 협박 및 공포 조성: 다른 사용자에게 폭력이나 공포를 조장하는 협박 표현.
5. 스팸 및 방해: 대화를 방해하려는 의도로 주제와 무관하거나 관련 없는 콘텐츠, 광고, 반복적인 메시지 게시.
6. 분노를 조장하는 댓글: 사용자들 사이에서 분노, 불화, 정서적 고통을 유발하려는 의도로 하는 발언.
7. 비정중한 톤: 건설적인 대화를 훼손하는 우월적, 비꼬는, 무시하는 톤의 사용.
8. 사생활 침해: 다른 사용자의 동의 없이 그들의 개인 정보를 공유하는 행위.
9. 부정직한 행동: 커뮤니티를 오도하기 위해 허위 정보, 루머를 퍼뜨리거나 사기적인 행위에 가담하는 것.
10. 성적으로 노골적인 콘텐츠: 커뮤니티 맥락에 부적절한 성적인 콘텐츠나 언어를 공유하거나 표시하는 것.

게시물이 다음에 해당하면 긍정적(positive)으로 분류해야 합니다:

1. 존중하는 언어: 모든 멤버를 존중하는 정중하고, 예의 바르며, 포용적인 언어 사용.
2. 건설적인 피드백: 다른 사람들의 기여를 개선하거나 지원하기 위한 유용하고 건설적인 비판이나 피드백 제공.
3. 장려와 칭찬: 다른 사람들의 긍정적인 행동과 기여를 인정하고 감사하는 것.
4. 생산적인 대화: 대화를 앞으로 나아가게 하는 의미 있고 심도 있는 토론에 참여하는 것.
5. 지원: 친절하고 이해심 있는 방식으로 다른 멤버들에게 도움, 조언, 정서적 지지를 제공하는 것.
6. 포용성: 대화를 통해 다른 사람들을 포함시키고 다양한 관점과 의견을 존중하려는 노력.
7. 지침 준수: 커뮤니티의 행동 강령과 지침을 예외 없이 준수하는 것.
8. 긍정적인 톤: 다른 사람들이 참여하도록 장려하는 친근하고, 개방적이며, 환영하는 톤 유지.
9. 가치 있는 콘텐츠 공유: 커뮤니티에 유익하고 관련성이 있는 리소스, 통찰력, 정보를 제공하는 것.
10. 갈등 해결: 평화롭고 원만하게 갈등을 해결하는 데 적극적으로 노력하고, 협력적이고 조화로운 분위기를 조성하는 것.

주의해야 할 몇 가지 경계 사례:

• 비꼬기와 은근한 모욕: 댓글이 훼손하거나 무시하는 것인지 판단하기 위해 맥락과 톤을 평가하세요.
• 건설적인 비판 vs. 개인 공격: 피드백이 목표 지향적이고 존중하는 것인지, 아니면 개인을 공격하는 것인지에 초점을 맞추세요.
• 유머와 농담: 농담이 다른 사람들을 소외시키거나 해칠 가능성이 있는지 평가하고, 고정관념을 재생산하지 않도록 하세요.
• 불일치 vs. 분노를 조장하는 댓글: 개인 공격이나 분노를 조장하는 언어를 감시하면서 존중하는 토론을 장려하세요.
• 문화적 민감성: 문화적 뉘앙스에 주의를 기울이고 다양한 배경을 존중하도록 사용자를 교육하세요.
• 감정 토로: 사용자가 감정적 고통을 토로할 때 지지를 제공하되, 그것이 다른 사람들을 표적으로 하거나 해치지 않도록 하세요.
• 모호한 콘텐츠: 모호한 콘텐츠에 대해 명확한 설명을 구하고 사용자에게 명확한 표현을 안내하세요.
• 민감한 주제: 민감한 이슈에 대한 토론에서 존중하는 참여를 보장하기 위해 면밀히 감시하세요.
• 수동 공격적 행동: 간접적인 적대감을 해결하고 직접적이고 존중하는 커뮤니케이션을 장려하세요.
• 공개로 번지는 개인 갈등: 개인적인 분쟁은 비공개로 해결하도록 장려하고 중재 지원을 제공하세요.

게시물 분석을 마친 후에는 “toxic” 또는 “positive” 중 하나의 분류만 제공해야 합니다. 확신이 서지 않으면 오탐(false positive)을 피하기 위해 "positive"로 기본값을 설정하세요.

이 지침은 반드시 모든 경우에 따라야 합니다

구성

자동화 규칙은 필요에 따라 커스터마이징할 수 있으므로 모든 단계가 필수적인 것은 아닙니다. 사용 가능한 모든 설정의 개요는 Discourse AI - AI triage를 방문하여 확인하세요.

1. Discourse AI 및 Automation 플러그인 활성화:

• 사이트의 관리자 패널로 이동합니다.
• Plugins(플러그인) > Installed Plugins(설치된 플러그인)으로 이동합니다.
• Discourse AI 및 Automation 플러그인을 활성화합니다.

2. 새로운 자동화 규칙 생성:

• 사이트의 관리자 패널로 이동합니다.
• Plugins(플러그인)으로 이동하고 Automation(자동화)을 클릭합니다.
• + Create(생성) 버튼을 클릭하여 새로운 자동화 규칙 생성을 시작합니다.
• Triage Posts Using AI(AI를 사용한 게시물 분류)를 클릭합니다.
• 이름을 설정합니다 (예: “Triage Posts using AI”).
• 선택된 스크립트를 Triage Posts Using AI로 유지합니다.

What/When (무엇을/언제)

3. 트리거 설정:

• 트리거로 Post created/edited(게시물 생성/수정)를 선택합니다.
• 선택적으로, 이 자동화를 특정 시나리오로 제한하려면 Action type(액션 유형), Category(카테고리), Tags(태그), Groups(그룹) 및/또는 Trust Levels(신뢰 수준)을 지정합니다. 이 필드를 비워 두면 자동화가 제한 없이 작동합니다.
• What/When 섹션의 나머지 선택적 설정을 구성하여 자동화를 추가로 제한합니다.

Script Options (스크립트 옵션)

시스템 프롬프트 필드는 Agent를 선호하도록 변경되어 비활성화되었습니다. 이 변경 이전의 AI 자동화가 있었다면, 관련 시스템 프롬프트가 포함된 새로운 Agent가 자동으로 생성됩니다.

4. Agent:

   독성 감지 자동화를 위해 정의된 Agent를 선택합니다.

5. 텍스트 검색:

   자동화를 트리거할 프롬프트의 출력을 입력합니다. “positive” 결과만 입력합니다. 위의 예시를 사용한다면 toxic을 입력합니다.

6. 카테고리 및 태그 설정:

   게시물이 독성으로 표시된 경우 이동할 카테고리 및 추가할 태그를 정의합니다.

7. 플래깅(Flagging):

• 게시물을 플래그하도록 “Flag post” 옵션을 활성화합니다.
• 취할 행동을 결정하기 위해 플래그 유형을 선택합니다. 사용 가능한 옵션:
  • Add post to review queue(게시물을 검토 대기열에 추가) — 게시물을 검토 대기열로 보내 관리자 조치가 이루어지도록 합니다.
  • Add post to review queue and hide post(게시물을 검토 대기열에 추가하고 숨기기) — 검토 대기열에 등록하고 즉시 게시물을 숨깁니다.
  • Add post to review queue and delete post(게시물을 검토 대기열에 추가하고 삭제) — 검토 대기열에 등록하고 게시물을 소프트 삭제합니다.
  • Add post to review queue, delete post and silence user(게시물을 검토 대기열에 추가, 게시물을 삭제하고 사용자 침묵) — 검토 대기열에 등록, 게시물을 소프트 삭제하고 작성자를 침묵 상태로 만듭니다.
  • Flag as spam and hide post(스팸으로 플래그하고 숨기기) — 게시물을 스팸으로 플래그하고 숨깁니다.
  • Flag as spam, hide post and silence user(스팸으로 플래그, 게시물을 숨기고 사용자 침묵) — 스팸으로 플래그, 게시물을 숨기고 작성자를 침묵 상태로 만듭니다.

8. 추가 옵션:

• 주제를 숨기고 싶다면 “Hide Topic” 옵션을 활성화합니다.
• 게시물이 독성으로 판단될 때 주제에 게시될 "Reply"를 설정하고, 선택적으로 "Reply User"를 지정할 수 있습니다.
• “Reply Agent” 옵션을 사용하여 정형화된 답변 대신 AI 에이전트가 동적인 답변을 생성하도록 할 수 있습니다. 둘 다 설정된 경우 정형화된 답변보다 우선합니다.
• 답변이 스태프에게만 보이도록 "Reply as Whisper"를 활성화합니다.
• 콘텐츠가 플래그될 때 게시물 작성자에게 개인 메시지를 보내도록 "Notify author via PM"을 활성화합니다. 선택적으로 PM 발신자 사용자와 사용자 정의 메시지를 지정할 수 있습니다.

주의 사항

• LLM 호출은 비쌀 수 있습니다. 분류기를 적용할 때 비용을 주의 깊게 모니터링하고 항상 작은 하위 집합에서만 실행하도록 고려하세요.
• 더 잘 수행되는 모델은 더 나은 결과를 가져올 수 있지만, 더 높은 비용이 발생할 수 있습니다.
• 프롬프트는 PII 노출, 스팸 감지 등 다양한 감지를 수행하도록 커스터마이징할 수 있습니다.