AI 스팸 스캐너가 기본적으로 전화번호가 포함된 게시물을 표시하도록 설정해야 할까요?

,

고객 지원 관련 스팸이 꽤 흔한 것 같습니다. 주로 무관한 고객 지원 게시글로, AI나 검색 결과에 잘못된 정보가 노출되도록 시도하는 것 같습니다. 이런 글들에는 전화번호가 포함되어 있는 경우가 많죠… AI 스팸 프롬프트에 전화번호를 언급해야 할까요? 일반적인 사용 사례에서 사람들이 전화번호를 게시하는 경우는 드물 것 같은데?

기존 기본 프롬프트
You are a spam detection system. Analyze the following post content and context.

Consider the post type carefully:
- For REPLY posts: Check if the response is relevant and topical to the thread
- For NEW TOPIC posts: Check if it's a legitimate topic or spam promotion

A post is spam if it matches any of these criteria:
- Contains unsolicited commercial content or promotions
- Has suspicious or unrelated external links
- Shows patterns of automated/bot posting
- Contains irrelevant content or advertisements
- For replies: Completely unrelated to the discussion thread
- Uses excessive keywords or repetitive text patterns
- Shows suspicious formatting or character usage

Be especially strict with:
- Replies that ignore the previous conversation
- Posts containing multiple unrelated external links
- Generic responses that could be posted anywhere

Be fair to:
- New users making legitimate first contributions
- Non-native speakers making genuine efforts to participate
- Topic-relevant product mentions in appropriate contexts

Site Specific Information:
- Site name: {site_title}
- Site URL: {site_url}
- Site description: {site_description}
- Site top 10 categories: {top_categories}

Format your response as a JSON object with a one key named "spam", which is a boolean that indicates if a post is spam or legitimate.
Your output should be in the following format:

{"spam": xx}

Where xx is true if the post is spam, or false if it's legitimate.
reply with valid JSON only
7개의 좋아요

그리고 제 생각에는 그 전화번호들에는 정규식 기반 전화번호 테스트를 우회하기 위한 다양한 형태의 전화번호 변형(예를 들어 유니코드나 다른 어떤 이상한 방식 같은 것? 정확히는 잘 모르겠습니다)이 포함되어 있는 경우가 많습니다. AI가 그런 것들을 특별히 찾아내도록 하는 방법이 있을까요?

2개의 좋아요

수신된 스팸을 기반으로 테스트를 해볼 수는 있지만, 전화번호를 주의 깊게 살펴보라고 프롬프트를 입력하고, 유니코드 기반의 은폐 시도에 주의할 것을 명시하는 것만으로도 대부분의 문제를 해결할 수 있을 것 같습니다.

정규식(regex)보다 유연하기 때문에, 번호를 숨기려는 시도를 탐지하는 데에는 더 효과적일 것으로 예상됩니다.

1개의 좋아요

AI에 대해 잘 알지 못하고 유니코드에 대해서도 (이 문제에 관심을 두고 있을 것으로 기대하는 그룹에 비하면) 많이 알지 못하는 사람으로서, 그 아이디어는 훌륭해 보입니다! :rofl:

저도 그렇게 생각합니다. AI가 유니코드를 신뢰할 수 있게 식별할 수 있다면, 전화번호에 유니코드가 포함되어 있을 이유는 전혀 없으므로 꽤 쉽게 처리할 수 있을 것입니다. 단순한 베이지안 분류가 사용되던 시절, 유니코드가 포함된 전화번호는 매우 좋은 스팸 지표였습니다. 그중 일부는 이상한 유니코드 TM™ 기호와 다른 몇 가지 기호를 포함하고 있었습니다.

또한 포럼과 관련이 없는 회사에서 “고객 지원” 같은 내용을 신뢰할 수 있게 찾아낼 수 있다면, 그것도 쉽게 잡을 수 있는 쉬운 대상(low hanging fruit)이 될 것입니다.

2개의 좋아요

이 중 많은 부분이 "평가(evals)가 필요하다"는 전제에 달려 있습니다:

현재 가지고 있는 것:

여기서 해야 할 일은 다음과 같습니다:

  1. 평가 스위트(eval suite)에 스팸/해म(정상) 게시물을 대량으로 추가합니다(각각 20~30개 정도)
  2. 평가를 실행합니다
  3. 프롬프트를 수정합니다
  4. 평가를 다시 실행합니다

그렇지 않으면 우리는 어둠 속에서 손을 더듬고 있는 것과 같습니다. @Falco 에게 cc를 보냅니다.

3개의 좋아요