스팸 사용자 및 GPT 답변 게시물 대응 모범 사례

Context: 몇 년 전, 팬데믹이 한창일 때 커뮤니티를 시작했습니다. 그 후 몇 년 동안 다른 이니셔티브에 모든 자원을 투입해야 했습니다. 처음에는 참여가 많았지만, 커뮤니티 프로그램 운영과 관리를 중단하자 포럼 활동이 거의 멈춰버렸습니다. 이제 커뮤니티 전략 수립과 운영에 더 많은 시간을 투자하려고 하므로, 이 질문이 가장 시급합니다!



현재 커뮤니티에 새로 가입하는 사용자 중 상당수가 다음과 같은 유형인 것을 확인하고 있습니다:
  1. 스팸성 제휴 마케팅에 초점을 맞춘 자신의 웹사이트로 링크를 걸기 위해 가입하는 경우
  2. 가입한 후 LLM/GPT로 생성된 것으로 보이는 답변이나 게시물을 올리는 경우

어제 우리 조정(모더레이션) 대기열에 들어온 게시물의 예시는 다음과 같습니다:

참고: 해당 사용자는 당일 계정을 생성했습니다.

조정된 게시물의 스크린샷 보기 클릭

사용자에게 전송된 우리 Discourse 시스템 메시지는 다음과 같습니다:

정형화된 SYSTEM 메시지 스크린샷 보기 클릭

이 신규 사용자의 게시물은 크리스 앤더슨의 3년 전 게시물에 대한 응답이었습니다.

신규 사용자의 조정 대상 게시물을 읽어보면, 이 메시지가 진정성이 없으며 GPT 또는 유사한 도구로 생성된 응답임이 명확히 드러납니다.

이러한 유형의 사용자가 커뮤니티에 들어오는 것을 방지하는 최적의 방법이 있을까요?

사용자가 이기적이거나 악의적인 동기로 LLM 정형 응답을 입력하는 것을 막을 수 있는 방법이 있을까요?

어떤 의견도 환영합니다!

4개의 좋아요

이런 일이 얼마나 자주 발생하고 있나요? 특정 이유로 인해 여러분의 사이트가 표적으로 삼아지고 있는 건 아닌지 궁금합니다.

이것이 다음 두 사이트 중 하나 또는 양쪽과 관련이 있다고 추측해 봅니다: http://bestpickleballpaddle.com/, https://thepickleballpaddles.com/. (참고로, 이들은 실제 사이트들이지만 여기서 너무 많은 트래픽을 유도하지 않도록 합시다.)

스크린샷에 있는 것과 같은 게시물을 생성하는 가장 명백한 동기는 사이트 내에서 신뢰를 얻어 미래에 스팸 링크를 게시하기 위함일 수 있다고 생각합니다. 만약 이것이 문제라면, 사이트의 min trust to post links(링크 게시를 위한 최소 신뢰 수준) 설정 값을 기본값인 신뢰 수준 0에서 신뢰 수준 1 또는 2로 변경하는 것이 가치가 있을 수 있습니다. 모든 신뢰 수준의 사용자가 게시할 수 있도록 허용하는 도메인이 있다면, 해당 도메인들을 allowed link domains(허용된 링크 도메인) 사이트 설정에 추가할 수 있습니다.

저는 그저 추측을 하고 있을 뿐이지만, LLM이 생성한 콘텐츠를 포착하려고 많은 노력을 기울이는 것보다는, 처음부터 그런 유형의 게시물을 생성할 동기를 줄이려는 시도가 더 나은 방법일 수 있다고 생각합니다. LLM 생성 콘텐츠가 시간이 지날수록 탐지하기 더 어려워질 것이라는 것이 제 우려입니다. 콘텐츠를 LLM이 생성한 것으로 오인하는 문제가 발생할 수도 있습니다.

일부 경우에 유용할 수 있는 또 다른 접근 방식은 조직 가입 또는 다른 플랫폼에서의 활동을 Discourse 계정 생성 기준이나, Discourse 사이트에서 링크 게시가 허용되는 신뢰 수준을 획득하는 기준으로 사용하는 것입니다. 예를 들어, 여러분의 가입 양식에는 사용자의 USAPA Rating Level을 묻는 선택 항목이 있습니다. USAPA 회원 가입이 해당 사이트에서 회원 프로필 페이지를 제공하는 것이라면, 가입 양식의 필수 필드로 "USAPA Profile Link"를 설정하여 USAPA 회원 가입을 사이트 가입의 필수 요건으로 만들 수 있습니다. 그런 다음 Discourse의 must approve users(사용자 승인 필요) 사이트 설정을 활성화하고, USAPA 회원 자격을 확인한 후에만 사용자를 승인할 수 있습니다. 또 다른 가능성은 Discourse가 사용자 정의 기준에 따라 사용자의 신뢰 수준을 제한할 수 있는 기능을 추가하는 것입니다. 예를 들어, USAPA 회원 가입이 확인될 때까지 사용자의 신뢰 수준이 1을 넘지 못하도록 할 수 있습니다.

여기서 USAPA 회원 가입을 예시로만 사용하고 있습니다. 여러분의 사이트에서 사용자에게 USAPA 회원 가입을 요구하지 않으려는 이유가 있을 수 있다는 것을 이해합니다. 다른 사이트의 회원 자격이나 활동을 통해 신뢰를 확립하는 아이디어는 여기서 논의되고 있는 플러그인과 관련이 있습니다: $10k Bounty: Gitcoin Passport plug-in for Discourse.

6개의 좋아요

정말 그 말씀이 맞습니다.

아직 명확하지는 않더라도 어떤 의도가 반드시 있을 가능성이 높습니다.

최근에는 꽤 설득력 있는 한 사용자가 원래는 은근히 암시만 하다가, 신뢰도 레벨 2까지 도달한 후에야 자신의 제품 홍보를 노골적으로 드러낸 사례가 있었습니다.

신뢰도 레벨 링크 설정은 유용하며, 의심스러운 계정은 링크를 게시할 수 없게 되자 사람들이 구글에서 xyz를 검색해 보라고 제안하기 시작합니다. 이는 또 다른 경고 신호입니다.

때로는 계정을 차단할 만큼 충분한 확신을 가질 때까지 증거가 쌓이는 것을 기다려야만 합니다.

불행히도 조치를 지연시키면 나중에 정리 작업이 더 번거로워집니다.

4개의 좋아요

"의심스러운 속도로 타이핑됨"을 확인하는 복사 및 붙여넣기 체크가 있나요? 만약 전체가 인간을 모방하기 위해 느리게 타이핑하도록 설계된 로봇이라면요 …

즉(제가 이해한 대로라면) 여기서는 기존 인프라에 의해 해당 사용자가 적발된 것이 긍정적인 점입니다. 스태프에게는 번거로움을 주었지만, 사용자들에게는 영향을 주지 않았으니까요.

시몬이 핵심을 잘 짚었다고 생각합니다:

이러한 일이 얼마나 자주 발생하는지 궁금합니다. 해당 사용자가 관련 있는 아바타를 설정하고, 관련 있는 사용자명을 사용하며, 관련 있는 게시판에서 활동했다는 점은 이것이 부분적으로 인간의 행동에서 비롯된 것임을 시사합니다.
아마도 지나치게 열정적인 마케팅 인턴일 수도 있겠네요.

1개의 좋아요

저도 비슷한 문제를 겪었습니다. 문제의 당사자는 현재 정지된 상태입니다. AI가 생성한 텍스트를 식별하는 데 도움이 되는 웹사이트가 있지만, 이는 장기적인 해결책이 아닙니다. – AI는 차이를 구별할 수 없을 때까지 계속 발전할 테니까요.

그러나 랜달 먼로(Randall Munroe)는 이것이 스스로 해결될 수 있는 문제일 수 있다고 제안합니다.

3개의 좋아요

참고로

저는 OpenAI Discourse 포럼의 카테고리 모더레이터입니다 (ref) (OpenAI 직원은 아님) 따라서 시간이 지남에 따른 ChatGPT 변경 사항에 대한 포럼의 피드백을 확인해 보시기 바랍니다 (ref). 전반적으로 귀하의 진술은 정확하지만, ChatGPT에 대해 약간의 명확성을 추가하고자 합니다.

ChatGPT가 이용 가능해지고 나서 많은 달 동안 그 능력은 향상되었고, 완성물(completions)은 다음과 같았습니다.

  • 더 일관성이 있었으며
  • 프롬프트와 더 잘 일치했고
  • 더 간결해지고 길이가 짧아졌습니다

그런 다음 변경 사항이 이루어졌고, 그 결과 완성물은 다음과 같았습니다.

  • 일관성이 떨어지고
  • 프롬프트와의 일치도가 낮아졌으며
  • 간결함이 떨어지고 길이가 길어졌습니다

포럼의 많은 사용자들은 ChatGPT가 몇 달 전의 이전 버전으로 되돌려진 것 같다고 지적했습니다. 코드를 생성하는 데 ChatGPT를 사용하는 사람들(저도 ChatGPT를 이렇게 사용하는 사용자 중 하나입니다)은 변경 사항으로 인해 더 많은 구문 오류가 나타나면서 그 영향을 더 뚜렷하게 느꼈습니다.

따라서 염두에 두어야 할 생각은 ChatGPT가 생성한 콘텐츠를 식별하려는 경우, 그것은 움직이는 목표(moving target)이며 항상 더 좋아지는 것은 아니라는 것입니다. 프로그래머로서 제가 ChatGPT가 생성한 콘텐츠를 식별하려는 경우, 이것은 가치가 있을 것입니다.

또한 저는 OpenAI 직원이 아니므로 해당 사이트의 모더레이터로서 내부 정보를 가지고 있지 않습니다. 따라서 ChatGPT 콘텐츠를 식별할 수 있도록 정보를 임베딩하는 도구에 대해 들으신 경우, 저는 그에 대한 정보를 제공할 수 없습니다.



ChatGPT를 사용하지 않는 분들을 위해 위의 텍스트를 사용한 간단한 예시를 드립니다.

예시 (삼각형을 클릭하여 확장)

ChatGPT 2023년 7월 20일 버전
프롬프트

교정하고, 좋은 톤을 사용하며, 간결하게 작성하세요.

```
참고로

저는 OpenAI Discourse 포럼의 카테고리 모더레이터입니다 ([ref](https://community.openai.com/about)) 따라서 시간이 지남에 따른 ChatGPT 변경 사항에 대한 포럼의 피드백을 확인해 보시기 바랍니다 ([ref](https://community.openai.com/t/gpt-4-has-been-severely-downgraded-topic-curation/304946)). 전반적으로 귀하의 진술은 정확하지만, 약간의 명확성을 추가하고자 합니다.

ChatGPT가 이용 가능해지고 나서 많은 달 동안 그 능력은 향상되었고, 완성물은 다음과 같았습니다.
* 더 일관성이 있었으며
* 프롬프트와 더 잘 일치했고
* 더 간결해지고 길이가 짧아졌습니다

그런 다음 변경 사항이 이루어졌고, 그 결과 완성물은 다음과 같았습니다.
* 일관성이 떨어지고
* 프롬프트와의 일치도가 낮아졌으며
* 간결함이 떨어지고 길이가 길어졌습니다

포럼의 많은 사용자들은 ChatGPT가 몇 달 전의 이전 버전으로 되돌려진 것 같다고 지적했습니다. 코드를 생성하는 데 ChatGPT를 사용하는 사람들은 변경 사항으로 인해 더 많은 구문 오류가 나타나면서 그 영향을 더 뚜렷하게 느꼈습니다.

따라서 염두에 두어야 할 생각은 ChatGPT가 생성한 콘텐츠를 식별하려는 경우, 그것은 움직이는 목표이며 항상 더 좋아지는 것은 아니라는 것입니다. 프로그래머로서 제가 ChatGPT가 생성한 콘텐츠를 식별하려는 경우, 이것은 가치가 있을 것입니다.

또한 저는 OpenAI 직원이 아니므로 해당 사이트의 모더레이터로서 내부 정보를 가지고 있지 않습니다. 따라서 ChatGPT 콘텐츠를 식별할 수 있도록 정보를 임베딩하는 도구에 대해 들으신 경우, 저는 그에 대한 정보를 제공할 수 없습니다.
```

완성물(Completion)

참고로,

ChatGPT의 시간에 따른 변경 사항에 대해 몇 가지 중요한 점을 명확히 하고자 합니다. OpenAI Discourse 포럼의 카테고리 모더레이터로서, 저는 커뮤니티의 ChatGPT 개발에 대한 피드백을 면밀히 지켜보고 있습니다 (ref).

초기에는 출시 후 ChatGPT의 능력이 몇 달 동안 지속적으로 향상되었습니다. 완성물은 더 일관성이 생기고, 주어진 프롬프트와 더 잘 정렬되며, 더 간결하고 간략해졌습니다.

그러나 이후 업데이트로 인해 일부 후퇴가 발생했습니다. 사용자들은 완성물이 일관성이 떨어지고, 프롬프트와의 정렬이 약해지며, 길이가 길어졌다고 지적했습니다. 이는 이전 버전의 ChatGPT와 비교되며, 한 단계 후퇴한 것으로 보였습니다. 특히 코드 생성에 ChatGPT를 사용하는 사람들은 변경 사항으로 인해 구문 오류가 증가하면서 그 영향을 더 뚜렷하게 경험했습니다.

ChatGPT가 생성한 콘텐츠를 식별하는 것이 움직이는 목표가 되었다는 점을 이해하는 것이 필수적입니다. 이전에 꾸준히 향상되고 있었지만, 지금은 항상 그런 것은 아닙니다. 프로그래머로서 저는 이 정보가 가치 있다고 생각하며, 특히 인간이 생성한 콘텐츠와 AI가 생성한 콘텐츠를 구별하려는 경우 더욱 그렇습니다.

사이트의 모더레이터이긴 하지만, 저는 OpenAI 직원이 아니며 내부 정보를 가지고 있지 않다는 점을 명확히 해야 합니다. 따라서 ChatGPT 콘텐츠를 식별하기 위해 개발된 도구나 방법이 있다면, 저는 그 사항에 대한 정보를 제공할 수 없습니다.

관심 가져주셔서 감사드리며, 이 명확한 설명이 ChatGPT 개발의 현재 상태를 이해하는 데 도움이 되기를 바랍니다.

감사합니다,

[귀하의 이름]

2개의 좋아요

참고

OpenAI Quietly Shuts Down Its AI Detection Tool라는 기사를 보고 여기서 확인해 보았습니다.

2023년 7월 20일부터 AI 분류기는 낮은 정확도 문제로 더 이상 사용할 수 없습니다. 피드백을 반영하고 텍스트에 대해 더 효과적인 출처 추적 기술을 연구 중이며, 사용자가 오디오 또는 시각 콘텐츠가 AI로 생성된 것인지 이해할 수 있도록 메커니즘을 개발하고 배포하는 데 전념하고 있습니다.

3개의 좋아요

@EricGT 아주 좋은 지적입니다! 네, 확실히 변하는 목표입니다. 저는 ChatGPT 자체에 대해 걱정하지는 않습니다. 말하자면, 이미 물거품이 된 상황에서, 무도한 누군가가 이 기술을 의도적으로 해로운 목적으로 사용할 날은 오기만 기다리는 셈입니다. :cry:

2개의 좋아요

네, URL이 없는 아스트로터프(허위 여론 조작) 형태의 홍보도 그렇고, 프로필에 추가할 수 있는 URL과 광고도 마찬가지입니다. 이는 직접 반응(direct response)이나 SEO를 위한 것입니다. 다른 경우로는 DM 스팸을 위해 계정을 양식(farming)하는 경우도 있습니다. 제가 아는 한 주요 사례들은 이 정도입니다.