커뮤니티에서 스팸 감지 설정하기

:bookmark: 이는 Discourse AI - AI 트리아지를 사용하여 커뮤니티에서 스팸 감지를 설정하는 방법에 대한 안내서입니다.

:person_raising_hand: 필요한 사용자 권한: 관리자

:warning: Discourse AI에는 이제 최소 설정으로 작동하는 효율적인 스팸 스캐너가 기본 제공됩니다. 맞춤형 또는 복잡한 사용 사례의 경우 이 안내서를 따르는 것을 권장합니다.

개요

스팸 감지는 커뮤니티에서 토론의 질을 유지하는 데 필수적인 기능입니다. 이 안내서는 Discourse AI - AI 트리아지를 사용하여 스팸 감지를 설정하는 방법을 안내합니다.

사전 요구 사항

스팸 감지를 구성하려면 다음이 필요합니다:

  • Discourse AI
  • Discourse Automation
  • 스팸 콘텐츠의 기준을 정의하는 시스템 프롬프트가 포함된 AI 에이전트
  • LLM(대형 언어 모델)
    • Discourse 호스팅 고객은 AI 에이전트를 구성할 때 호스팅된 LLM을 선택할 수 있습니다.
    • 자체 호스팅 Discourse 사용자는 서드파티 LLM을 구성해야 합니다.

:warning: 프롬프트를 작성할 때 스팸과 비스팸(정상)을 구분하는 기준을 정할 때, 최종 결과에 유사한 언어를 사용하지 않도록 주의하세요. 이 예시에서는 spam과 ham(비스팸을 의미)을 사용합니다.

분류기는 항상 100% 완벽하게 작동하지 않으므로 잘못된 결과가 나올 수 있으니 주의하고, 커뮤니티의 필요에 맞게 프롬프트를 커스터마이징하세요. 초점이 좁을수록 좋습니다.

스팸 콘텐츠 감지를 위한 복사 가능한 LLM 프롬프트 AI

당신은 온라인 커뮤니티 관리자를 보조하는 스팸 감지 AI 모델입니다. 당신의 임무는 포럼 게시물을 분석하여 커뮤니티의 높은 품질과 주제 관련성을 유지하기 위해 제거해야 하는 스팸인지 판단하는 것입니다.

게시물이 다음 기준 중 하나에 해당하면 스팸으로 분류해야 합니다:

  • 게시물이 포럼의 주요 주제나 목적과 관련이 없거나 완전히 주제에서 벗어난 경우.
  • 의심스럽거나 관련 없는 외부 링크, 특히 상업적 사이트로 연결되는 링크를 포함하는 경우.
  • 커뮤니티와 관련이 없는 제품, 서비스, 웹사이트 또는 소셜 미디어 계명을 홍보하거나 광고하는 경우.
  • 클릭을 수익화하려는 제휴 링크나 추천 코드를 포함하는 경우.
  • 글쓰기 품질이 매우 낮거나 노력 부족으로 보이는 경우(많은 철자/문법 오류, 구두점 누락, 자동 생성된 텍스트로 보이는 경우).
  • 동일한 또는 거의 동일한 콘텐츠가 짧은 시간 내에 같은 작성자나 여러 계정으로 반복 게시되는 경우.

게시물이 다음에 해당하면 햄(정상)으로 분류해야 합니다:

  • 게시물이 주제와 관련이 있고 포럼의 목적에 부합하는 경우
  • 진지한 질문, 개인적인 이야기, 실질적인 의견 또는 커뮤니티 토론에 대한 기타 정당한 기여인 경우
  • 모든 외부 링크가 관련이 있고 신뢰할 수 있는 비영리 사이트로 연결되는 경우
  • 글이 인간이 작성한 것으로 보이며 문법, 철자 등의 품질 기준을 충족하는 경우

주의해야 하는 경계 사례:

  • 제품이나 서비스를 언급하더라도 여전히 관련 있고 주제에 맞는 질문이나 토론인 게시물은 스팸이 아닌 햄으로 간주해야 합니다.
  • 인용문, 코드 샘플 또는 형식이 unusual하게 보이는 포맷된 텍스트는 반드시 스팸이 아닙니다.

게시물 분석을 완료한 후에는 “spam” 또는 “ham” 중 하나의 분류만 제공해야 합니다. 확신이立た지 않으면 오탐(false positive)을 피하기 위해 "ham"으로 기본값을 설정하세요.

이 지침은 어떤 경우에도 반드시 준수해야 합니다

구성

:information_source: 자동화 규칙은 필요에 따라 커스터마이징할 수 있으므로 모든 단계가 필수적인 것은 아닙니다. 사용 가능한 모든 설정의 개요를 보려면 Discourse AI - AI 트리아지를 방문하세요.

  1. Discourse AI 및 Automation 플러그인 활성화:
  • 사이트 관리자 패널로 이동하세요.
  • 플러그인(Plugins)으로 이동한 후 설치된 플러그인(Installed Plugins)으로 이동하세요.
  • Discourse AI 및 Automation 플러그인을 활성화하세요.
  1. 새 자동화 규칙 생성:
  • 사이트 관리자 패널로 이동하세요.
  • 플러그인(Plugins)으로 이동하여 Automation을 클릭하세요.
  • 새 Automation 규칙 생성을 시작하려면 + Create 버튼을 클릭하세요.
  • Triage Posts Using AI를 클릭하세요.
  • 이름을 설정하세요(예: “AI를 사용하여 게시물 트리아지”).
  • 선택된 스크립트로 Triage Posts Using AI를 유지하세요.

What/When

  1. 트리거 설정:
  • 트리거로 Post created/edited(게시물 생성/수정) 또는 Stalled topic(정체된 주제)를 선택하세요.
  • 선택적으로, 이 Automation을 특정 시나리오로 제한하려면 Action 유형, 카테고리, 태그, 그룹 및/또는 신뢰 수준을 지정하세요. 이 필드를 비워두면 Automation이 제한 없이 작동합니다.
  • What/When 섹션의 나머지 선택 설정을 구성하여 자동화를 더 제한할 수 있습니다.

Script Options

:spiral_notepad: 시스템 프롬프트 필드는 AI 에이전트를 لصالح하여 비추천(deprecated)되었습니다. 이 변경 사항 이전에 AI 자동화를 사용했다면, 관련 시스템 프롬프트가 포함된 새 AI 에이전트가 자동으로 생성됩니다.

  1. 에이전트:

    스팸 감지 자동화에 정의된 AI 에이전트를 선택하세요. 에이전트에는 기본 LLM이 구성되어 있어야 합니다.

  2. 텍스트 검색:

    자동화를 트리거할 프롬프트의 출력값, 즉 “긍정적” 결과만 입력하세요. 위의 예시를 사용하면 spam을 입력합니다.

  1. 카테고리 및 태그 설정:

    게시물이 스팸으로 표시될 경우 해당 게시물을 이동할 카테고리 및 추가할 태그를 정의하세요.

  2. 플래깅(Flagging):

  • 일치하는 게시물을 플래그하려면 “Flag post” 옵션을 활성화하세요.
  • 수행할 작업을 결정하기 위해 플래그 유형을 선택하세요:
    • 게시물을 검토 큐에 추가 — 게시물을 관리자 조치가 필요한 검토 큐로 보냅니다.
    • 게시물을 검토 큐에 추가하고 숨기기 — 검토에 보내고 게시물을 숨깁니다.
    • 게시물을 검토 큐에 추가하고 삭제하기 — 검토에 보내고 게시물을 소프트 삭제합니다.
    • 게시물을 검토 큐에 추가하고, 게시물을 삭제하며, 사용자를 무음 처리 — 검토에 보내고, 소프트 삭제하며, 작성자를 무음 처리합니다.
    • 스팸으로 플래그하고 게시물 숨기기 — 스팸으로 플래그하고 숨깁니다.
    • 스팸으로 플래그하고, 게시물 숨기며, 사용자를 무음 처리 — 스팸으로 플래그하고, 숨기며, 작성자를 무음 처리합니다.
  1. 추가 옵션:
  • 게시물의 주제를 숨기려면 “Hide Topic” 옵션을 활성화하세요.
  • 게시물이 스팸으로 판단될 때 주제에 게시될 "Reply"를 설정하세요.
  • “Reply Agent” 옵션을 사용하여 정해진 답장 대신 다른 AI 에이전트가 동적인 답장을 작성하도록 할 수 있습니다.
  • 답장이 스태프에게만 보이도록 "Reply as Whisper"를 활성화하세요.
  • 개인 메시지도 스캔 및 트리아지하려면 "Include personal messages"를 활성화하세요.
  • 콘텐츠가 플래그될 때 게시물 작성자에게 개인 메시지를 보내려면 "Notify author via PM"을 활성화하세요. PM 발신자와 커스텀 메시지 내용을 구성할 수 있습니다.

추가 참고 사항

  • Automation을 사용하여 스팸을 combat할 경우, 이미 활성화되어 있는 Akismet 플러그인을 비활성화하는 것을 권장합니다. 이는 스팸을 combat하는 시스템이 하나만 작동하도록 하여 최적의 결과를 얻기 위한 것입니다.
  • LLM 호출은 비쌀 수 있습니다. 분류기를 적용할 때 비용을 모니터링하는 데 주의하고, 항상 작은 부분 집합에서만 실행하도록 고려하세요.
  • 더 잘 수행되는 모델이 더 나은 결과를 제공하지만, 더 높은 비용이 발생할 수 있습니다.
  • 프롬프트는 PII 노출, 행동 강령 위반 등 다양한 감지 작업을 수행하도록 커스터마이징할 수 있습니다.
11개의 좋아요

5개의 게시물이 새 주제로 분리되었습니다: AI가 생성한 콘텐츠를 인식하는 AI의 한계 탐구

이 방법을 사용한 사용자들의 경험이 궁금합니다.

1개의 좋아요

방금 테스트를 시작했는데, 이미 꽤 잘 작동하고 있습니다 (지금은 바로 검토 대기열로 보내지 않고, 올바르게 실행되는지 확인하기 위해 숨겨진 태그만 적용하도록 선택했습니다).

하지만 작은 후속 질문/확인 사항이 있습니다. 통합 기능이 출력이 포함된 사용자 정의 쿼리(예: 샘플 게시물 그룹)에 접근하여 이를 컨텍스트 데이터로 사용할 수 있을까요?

구체적으로 말씀드리면, 합의된 플래그에 따라 게시물 삭제로 이어진 이전 스팸 게시물 전체를 입력원으로 제공해 주고 싶습니다.

1개의 좋아요

현재는 단일 시스템 메시지만 지원합니다.

다만, 플래그를 달지 말아야 할 예시 N개와 플래그를 달아야 할 예시 N개를 입력할 수 있는 후속 업데이트를 진행할 수도 있을 것 같습니다. 이를 통해 정확도가 향상될 가능성이 있습니다.

이 주제에 대해 전용 기능 토픽을 만들어 보는 것은 어떨까요?

1개의 좋아요

먼저 이 주제에 대해 더 많은 의견을 모아보겠습니다. 지난 일주일 동안 테스트를 진행했는데 꽤 성공적이었지만, 여전히 몇 가지 작은 불편함이 있습니다. 예를 들어, 개인 메시지를 빠르게 제외할 수 없다는 점이 있습니다(예를 들어, 디스코봇 튜토리얼 상호작용을 종종 의심스러운 것으로 인식합니다. 프롬프트를 편집하여 이를 고려하지 않도록 했지만, AI 로그를 보면 감지 기능이 컨텍스트를 인지하지 못하고 게시글 내용 자체만 고려하는 것 같습니다).

2개의 좋아요

이것은 좀 이상한 것 같습니다… 여기서 의도된 지침이 무엇인지 확실하지 않습니다. 'AI 활성화’와 '자동화 활성화’를 의미하는 건가요?

1개의 좋아요

여기서 수정을 했습니다

2개의 좋아요

궁금한 점이 있는데, 특정 답변만 새 주제로 이동시키고 전체 주제를 이동하지 않는 방법이 있을까요? 원래 합법적인 주제인데 스팸 사용자가 들어와 스팸 답변을 남기는 경우를 말하는 거예요. 제가 보기에는 특정 답변이 아니라 전체 주제가 이동되고 있더라고요.
아, 그리고 이 기능과 Discourse AI 스팸 탐지 기능의 차이점은 무엇인가요?

예시를 들어 좀 더 자세히 설명해 주실 수 있을까요?

참고로: Flag post 옵션을 선택하면 스팸으로 판단된 게시글만 플래그를 지정할 수 있습니다.

1개의 좋아요

물론입니다. 예를 들어, 지원 포럼에서 스팸 발송자가 사용자가 겪고 있는 문제에 관한 기존 주제에 스팸 답변을 게시한다고 가정해 보겠습니다. OP(질문자)와 답변을 작성하는 사람들은 스팸 발송자와 같은 사용자가 아닙니다. 제 이해가 맞다면, AI Triage은 전체 주제를 숨기고 해당 게시물을 플래그 처리할 것입니다. 대신, 스팸 게시물을 관리자만 접근할 수 있는 카테고리의 특정 주제로 이동할 수 있을까요?

이것은 이 게시물을 읽다가 궁금해졌습니다.

네, 저는 현재 AI Triage을 사용하여 혐오 발언 감지기에 대해 이렇게 하고 있습니다.

하하, 어떻게 그걸 놓칠 수가 있었을까요 :laughing:…

1개의 좋아요

AI 스팸은 단순히 게시물을 숨기며, Triage에도 이 옵션을 추가할 수 있을 것입니다.

2개의 좋아요