안녕하세요 여러분,
주제 내부에서 저신호/의미 없는 답변(“워터 리플”, 일반적인 스팸성 댓글)을 걸러내는 AI 보조 필터를 제안하고 싶습니다.
문제점
많은 영어 커뮤니티에서 주제가 다음과 같은 짧고 노력하지 않은 답변으로 넘쳐나는 경우가 많습니다:
- “감사합니다 / 좋습니다 / 좋은 글입니다”
- “동의합니다”
- “팔로우합니다”
- “업보팅합니다”
- 새로운 정보를 제공하지 않는 일반적인 칭찬
이러한 답변들은 노이즈를 추가하고 스크롤 양을 늘리며, 특히 긴 스레드에서 모든 사용자의 읽기 경험을 저하시킵니다.
관리자는 규칙과 수동 조치로 이를 해결할 수 있지만, 확장성이 좋지 않습니다. 그리고 순수한 정규식 기반 필터링은 **높은 오차율(false positive)**을 초래하는 경향이 있습니다.
제가 구축한 것 / 현재 프로토타입
현재 플러그인 유사한 접근 방식으로 실험을 진행 중입니다:
- 가장 명백한 짧은/회피성 답변을 잡기 위한 정규식 사전 필터
- 나머지 후보들을 분류를 위해 LLM으로 전달
- UI는 투명해야 합니다: 숨겨진 답변의 수를 표시해야 합니다.
- 숨겨진 답변은 요청 시 볼 수 있어야 합니다(“숨겨진 답변 보기”).
- (선택 사항) 숨겨진 콘텐츠의 경우, 독자가 모든 것을 확장하지 않고도 "무엇이 숨겨졌는지"를 빠르게 볼 수 있도록 숨겨진 답변에서 2~3개의 대표 문장을 추출하는 LLM 단계를 추가로 실행합니다.
정규식만 사용하더라도 읽기 경험(스크롤 감소)이 크게 개선되지만, 오차율이 너무 높아 LLM 기반 판단이 필수적이라고 생각합니다.
제안된 제품 동작 (사용자 관점)
각 주제 내에서 독자는 다음과 같은 것을 볼 수 있습니다:
- “12개의 답변이 숨겨졌습니다 (저신호 필터: 중간)”
- 버튼: 숨겨진 답변 보기 / 필터 수준 변경
그리고 여러 수준을 제공합니다. 예를 들어:
- 꺼짐: 모든 것을 표시
- 낮음: 명백한 쓰레기를 숨김 (매우 높은 정확도)
- 중간: 일반적인 저신호 답변을 숨김
- 높음: 공격적인 필터링 (사용자가 직접 선택)
중요한 점은 다음과 같습니다:
- 이는 사용자별 설정이어야 합니다 (또는 카테고리/사이트 기본값으로도 설정 가능할 수 있음).
- 시스템은 투명하고 되돌릴 수 있어야 합니다: 아무것도 "삭제"되지 않으며, 기본적으로 숨겨지는 것뿐입니다.
이것이 Discourse(특히 지금)에 적합한 이유
Discourse에는 이미 여러 AI 관련 기능이 있으며 Discourse AI 생태계는 성장하고 있습니다. 주제 내 답변 "정화기"는 커뮤니티 UX를 위한 LLM의 가장 실용적이고 영향력 있는 용도 중 하나라고 생각합니다.
이는 정확히 “스팸 감지”(보통 계정 수준에서 처리)가 아닙니다. 이는 더 주제 수준의 읽기 품질에 관한 것입니다.
유지보수자/커뮤니티를 위한 질문
- Discourse에 이미 답변 품질/저신호 필터에 대한 계획이 있나요?
- 이를 Discourse AI의 확장으로 구축하는 것이 좋을까요, 아니면 별도의 플러그인으로 만드는 것이 좋을까요?
- UI/UX를 투명하게 구현하고 사용자를 혼란스럽게 하지 않는 가장 좋은 방법은 무엇인가요?
- 조정 정책, 신뢰 수준, 또는 엣지 케이스(예: “해결됨”, “링크와 함께 +1” 등 짧지만 가치 있는 답변)에 대한 우려 사항이 있나요?
이 방향이 타당하다면, 더 많은 세부 사항(정규식 규칙, UI 목업, 프롬프트 아이디어)을 공유하고 PR/플러그인 작업에 참여하는 데 기꺼이 협력하겠습니다.
감사합니다!