인터넷에 중복된 콘텐츠에 대한 스태프 공지를 자동으로 추가할 수 있나요?

Akismet 스팸 필터는 Docker 포럼과, 예를 들어 Stack Exchange 사이트(주로 Stack Overflow), GitHub, Reddit 사이의 중복 게시물을 찾는 데 꽤 잘 작동합니다. 이러한 게시물은 검토 대기 상태로 넘어가지만, Akismet가 해당 게시물을 어디서 발견했는지를 알려주지 않습니다:


Akismet가 이 게시물을 잠재적 스팸으로 표시했습니다.

Akismet 플러그인을 설정하여 다른 발생 위치의 URL을 표시할 수 있는지 물어보고 싶었습니다. 하지만 실제로는 더 많은 것을 원합니다…

종종 텍스트의 일부를 복사해서 Google에 붙여넣기만 하면 결국 출처를 찾을 수 있습니다. 그리고 Docker 포럼에서는 그런 경우 플래그를 거부(중복 게시물 승인)하는 동시에, 질문에 답변하는 자원봉사자를 위해 스태프 공지를 추가하는 경향이 있습니다. 이렇게요:


:warning: 이것은 Stack Overflow에도 게시되었습니다. 답변에 시간을 쓰신다면, 새로운 세부 사항이 추가되었거나 이미 누군가가 답변했는지 확인해 보시는 것이 좋습니다.

그래서 궁금합니다: 이와 유사한 것을 자동화하려는 시도를 해본 분이 계신가요?

부연 설명:

  • 저는 Stack Overflow에도 포럼으로 돌아가는 링크를 게시하는 경향이 있습니다. 어쨌든 수동 작업이므로, 자동화하더라도 통지를 받고 싶을 것입니다.

  • Akismet가 (아직) 중복으로 감지(또는 표시)하지 않는 “신규 사용자가 첫 게시물을 의심할 정도로 빠르게 작성함, 봇 또는 스팸머 행위로 의심됨.” 같은 경우에도 동일한 접근법을 꽤 자주 사용합니다.

4개의 좋아요

Hi @Arjan. :wave:

Akismet이 온라인에서 중복된 복사본을 필터링하는지 몰랐어요. 아마도 그 예제에 사용된 특정 마크업이 Akismet을 트리거한 것 같습니다.

Akismet이 해당 서비스를 제공한다는 언급을 찾을 수 없는데, 혹시 안내해 주실 수 있을까요? 해당 정보가 그들의 서비스를 통해 제공된다면, 이를 활용할 수도 있을 것 같아요. :slight_smile:

2개의 좋아요

음, 맞을 수도 있겠네요. 저는 대담하게도 Stack Exchange도 Akismet을 사용하고 있다고 가정했습니다(실제로는 잘 모르지만). 중복으로 Stack Exchange에 게시된 이후에도 기존 게시물에 대해 검토가 트리거되는 것을 본 것 같습니다. 다만, 이를 확인하기 위해 예시를 찾아봐야 합니다. 대부분 Stack Exchange의 게시물이 더 오래된 경우였는데, 이는 복사-붙여넣기 때문에 “첫 게시물을 의심할 만큼 빠르게 입력함” 검토가 트리거된 이유도 설명해 줍니다.

또한, 게시물이 수정된 후 상당한 기간 동안 많은 오탐(false positives)을 목격했습니다. 이는 필터가 중복을 찾는 자체 알고리즘에 혼란을 겪고, 온라인 데이터베이스의 중복이 사실은 해당 포럼의 동일한 게시물임을 인식하지 못한다고 생각하게 만들었습니다. 이 원인을 조사하면서 Akismet 서비스에서 관련 참조를 찾지 못했습니다.

즉, 많은 가정들이었습니다. 예시를 찾아보겠지만, 아마도 포럼과 다른 곳 사이에 더 많은 게시물이 중복되고 있고, 제가 발견한 것은 그중 일부에 불과할 수도 있습니다. :thinking:

Stack Exchange는 자체적으로 개발한 솔루션을 가지고 있는 것 같습니다. 적어도 2년 전에는 그랬습니다: How does spam protection work on Stack Exchange? - Stack Overflow

물론 Akismet이 Stack Exchange 게시물의 공개 피드를 구독할 수는 있지만, 중복 항목을 찾는 것이 그들의 목표는 아닙니다. (아니면 Akismet이 스팸으로 표시한 Stack Exchange 중복 항목이 다른 곳에서도 중복되었을 수도 있겠죠. 어쨌든.)

1개의 좋아요

@maiki 이 일이 실제로 발생했음을 확인해 줄 수 있는 예시를 찾지 못했습니다. 분명 시간이 좀 지난 후 Akismet이 기존 게시물을 스팸으로 표시했을 가능성이 있지만, 그 내부 작동 방식에 대해서는 잘 모르기 때문에 이를 단정할 수는 없습니다.

1개의 좋아요