참고: "콘텐츠 검열에 GPT-4 사용" - OpenAI 블로그 게시물


아래의 답변에서 발췌

이 블로그 글은 GPT-4가 정책을 기반으로 인터넷 콘텐츠의 조정자(moderator) 역할을 수행하도록 훈련되고 있는 과정을 다루고 있습니다.

이는 정책을 기준으로 콘텐츠를 필터링하는 인간 조정자를 사용하는 Discourse 사이트에 직접적으로 적용됩니다.

저는 몇몇 사이트에서 인간 조정자로 활동하고 있으며, 게시물에 대한 조치를 결정할 때 조직의 정책과 Discourse 포럼의 정책을 모두 참고합니다. 특히 게시물이 플래그(신고)가 되었을 때 그렇습니다. 정책 위반이 아닌 경우, 플래그가 된 게시물을 그대로 두는 것은 저로서는 드문 일이 아닙니다.

저의 의견을 물으셨지만, 저는此类의 답변을 사실에 국한하려고 노력합니다. 제 스스로 정한 범위를 벗어나지 않았기를 바랍니다. :slightly_smiling_face:

5개의 좋아요

OP에서 왜 이것이 사람들에게 흥미롭다고 생각하는지, 그리고 이것이 Discourse와 어떻게 관련되는지에 대해 조금 더 자세히 설명해 주실 수 있을까요? :pray:

컨텍스트가 거의 없는 링크만으로는 토론을 시작하기에는 정보가 부족합니다. :slight_smile:

6개의 좋아요

제 목표는 토론을 시작하는 것이 아니라, 디스코스(Discourse) 회사와 인간 모더레이터의 도움으로 사이트를 운영하는 사람들에게 관련 있다고 생각하는 정보를 전달하는 것이었습니다.

첫 번째 게시물에서 제공된 정보에 대해서는 사실에만 충실하려고 노력했지만, 논의할 가치가 있다고 느끼는 한 가지 점이 있습니다.

사이트는 AI 모더레이터에만 의존해야 하는가, 아니면 인간이 개입해야 하는가? 더 중요한 것은 AI와 인간이 의견이 충돌할 때 어떻게 되는가 하는 것입니다.

loop라는 단어를 사용한 것은 우연이 아니라 의도적인 것이었습니다. 아폴로 미션의 비행管制 기록을 들어보신 적 있으신가요? loop라는 단어가 언급되는 것을 들으셨을 것입니다.


이와 관련하여 많은 분들이 놓치고 있을 매우 흥미로운 부연 설명이 있습니다. 바로 유인 우주 비행이 직면했던 동일한 문제입니다. 우주선은 완전히 자율적으로 작동해야 하는가, 아니면 인간이 부분적 또는 전체적인 제어를 넘겨받을 수 있어야 하는가? 이는 항공기의 자동 조종 장치의 시작이라고도 볼 수 있습니다.

개인적으로 이 주제에 대해 읽고 많은 것을 배운 매혹적인 책이 있습니다. 다른 프로젝트에서는 볼 수 없는 코드와 디자인 영역에 대해 깊이 알게 되었습니다.

데이비드 A. 민델(David A. Mindell)의 “Digital Apollo: Human and Machine in Spaceflight” (사이트) (WorldCat)

1개의 좋아요

반드시 인간이 개입하는 구조를 유지해야 합니다. 로보캅을 보신 적 있나요? 진지하게 말씀드리자면, 콘텐츠 검열에는 많은 판단이 필요합니다. 가이드라인을 만들고 사용하는 것은 좋은 일이지만, 이를 엄격한 규칙의 집합체로만 운영하는 것은 인간적인 문제를 기술적으로 해결하려는 어리석은 시도라고 생각합니다.

수정: 덧붙이자면, 저는 소규모의 포럼을 운영하고 있습니다. 이곳에서는 모더레이터들이 서로를 알고 있으며, 정기적으로 기여하는 멤버들도 잘 알고 있습니다. 오픈AI가 상상을 하는 것은 아마도 이익을 목적으로 운영되는 산업 규모의 포럼일 텐데,那里的 검열 문제는 훨씬 다릅니다.

3개의 좋아요

여기서 흥미로운 점은 사고 방식을 전환하는 것입니다:

GPT-4 기반의 검열

:arrow_double_down:

GPT-4 지원 검열

이러한 도구를 활용해 модератор(모더레이터)의 역량을 강화하는 접근 방식은 제가 매우 매력적으로 생각하는 부분입니다.

9개의 좋아요

디스코스는 새로운 도구들을 학습하고 성장하며 구축하는 데 이상적인 플랫폼입니다.

저는 중앙 집중화된 권력과 통제로 인해 우리에게 가해진 최근의 “소셜” 네트워킹 버전들이 가능하게 한 양극화라는 재앙에 맞서, 이미 존재하는 인간의 사회와 문화가 더 효율적으로 진화하고 협력하기 시작할 수 있도록, 탈중앙화되고 상호 연결된 네트워크들의 "신경망"으로서의 AI 혁명을 수용하는 데 전적으로 동의합니다.

이 시각화 자료를 좋아합니다…

3개의 좋아요

인간이 개입해야 하지만, AI 모더레이션이 어느 정도 수준으로 이루어진다는 것은 포럼을 고려하는 모든 공공 기관에게 큰 매력 포인트가 될 것이라고 생각합니다. 예를 들어, CBC가 포럼을 도입하도록 설득할 수 있다면요.

균형은 다음과 같이 잡을 수 있을 것입니다. 인간 모더레이터는 그들의 인간적 기술을 활용해 대화를 유도하고, (인간의 감독을 받는) AI는 사이트의 가이드라인을 강제하는 역할을 수행합니다. AI 모더레이션은 포럼이 양극화된 주제에 대한 대화를 허용하는 데 더 적극적으로 만들 수 있습니다.

2개의 좋아요

AI를 활용한 모더레이션으로, 정지 처분을 받은 후 새 계정을 만들어 문제를 일으키는 사용자들을 잡아내기를 원합니다. 이런 문제를 처리하는 데는 제가 원하지 않을 정도로 많은 시간이 소모되는데, 저는 심지어 모더레이터도 아닙니다(우리는 역할을 분리해 운영합니다).

6개의 좋아요

여기서 좋은 아이디어네요

2개의 좋아요

디스코urse에 이 같은 AI 기능이 있는지 궁금합니다. 커뮤니티 관리에 정말 도움이 될 것 같아 알고 싶습니다! 가이드라인을 위반하는 게시물에 대한 시간을 절약할 수 있는 솔루션을 찾고 있으니, 알려주시면 감사하겠습니다.

2개의 좋아요

OpenAI와 같은 회사라면 분명 그럴 겁니다.

물론, 무슨 일이 잘못될 수 있겠어요! :man_shrugging:

그 홍보 문구를 살펴봅니다.

콘텐츠 조정(모더레이션)은 디지털 플랫폼의 건전성을 유지하는 데 중요한 역할을 합니다.
GPT-4를 사용한 콘텐츠 조정 시스템은 정책 변경에 대한 반복 주기를 월에서 시간 단위로 줄여 훨씬 더 빠른 반복을 가능하게 합니다. GPT-4는 또한 긴 콘텐츠 정책 문서의 규칙과 뉘앙스를 해석하고 정책 업데이트에 즉시 적응하여 더 일관된 라벨링을 가능하게 합니다. 우리는 AI가 플랫폼별 정책에 따라 온라인 트래픽을 조정하고 수많은 인간 조정자의 정신적 부담을 덜어줄 수 있는 디지털 플랫폼의 더 긍정적인 미래를 제시한다고 믿습니다. OpenAI API 접근 권한이 있는 누구나 이 접근 방식을 구현하여 자신의 AI 보조 조정 시스템을 만들 수 있습니다.

OpenAI가 당신의 놀이공원에서 놀이 기구를 이용하기 위해 토큰을 판매하는 동안, 하나의 "정신적 부담"이 다른 "정신적 부담"으로 대체된다고 가정할 때(당신이 그걸 신경 쓴다면), 그 부담이 무엇인지 알아낼 수 있을까요?

1개의 좋아요

네, 정말 훌륭하지 않나요?

저는 이 기술에 완전히 매료되어 있으며, 제 능력 범위 내에서 이를 이해하고 더 잘 활용할 수 있도록 노력해 왔습니다. 하지만 비즈니스 관점에서 OpenAI(그리고 유사한 서비스들)가 정말로 중요한 것을 파악하고 있다는 점은 분명합니다.

그 함의는 다음과 같습니다. 작성하는 모든 게시물에 대해 OpenAI에 돈을 지불해야 할 수 있으며, 그 이유는 잠재적으로 여러 가지일 수 있습니다(요약, 게시물 문법, 게시물 NSFW 필터링, 임베딩 프로필 등, 목록은 계속됩니다).

알고 보니, OpenAI가 여러분 자신의 사이트에서 발생하는 모든 트래픽에 대해 상당한 몫을 가져가고 있을 것입니다. 여러분이 그렇게 어렵게 확보한 광고 및 제휴 수익 중 일부가 이제 그들에게로 흘러들어가고 있습니다.

그리고 클라우드 VPS 제공업체들은 오픈소스 모델을 로컬에서 사용하려고 4GB 서버를 16GB 구성으로 업그레이드하는 사람들을 좋아할 것입니다.

그러나 물론, 이렇게 하는 것이 더 효율적이고 경쟁력 있는 관점에서 중요하지 않는 한, 아무도 이를 대규모로 실행하지는 않을 것입니다.

또한 덜 비관적으로 보면, 제공되는 서비스를 바라보는 또 다른 관점은 과거에 대형 제공업체만 사용할 수 있었던 기술의 민주화라고 할 수 있습니다.

예를 들어, 의미론적 검색(semantic search)은 이제比以往보다 저렴해졌고, 소규모 설치 환경에서도 매우 합리적인 가격으로 강력한 검색을 사용할 수 있게 되었습니다. 이는 분명 좋은 일이 아니겠습니까?

자연어 처리의 힘은 저렴한 모델에서도 상당히 놀랍습니다.

우리는 이 새로운 시대의 막을刚刚 열었을 뿐이며, 경쟁이 활성화되면서 가격이 낮아질 것이라고 확신합니다.

1개의 좋아요

주제를 변경하고 싶으시다면, 해당 주제를 새 주제로 이동해 주시겠습니까? 감사합니다. :slightly_smiling_face:

이것은 주제와 맞는 것 같은데요? AI 기반 모더레이션 도구를 사용하는 데 따른 실질적인 고려 사항에 대해?

(물론 OP의 질문이 다소 개방적이긴 하지만, #커뮤니티-빌딩 관련 주제들은 대개 그렇습니다)

2개의 좋아요

아니요. 돈을 버는 것에 대해 이야기하는 것은 주제에서 벗어난 것입니다.

이 주제는モデ레이션(중재)에 관한 것입니다.

완전히 관련이 있으며, 제 생각에는 주제에서 벗어난 것이 아닙니다.

운영하시는 사이트에서 하루에 얼마나 많은 게시글이 올라옵니까?

게시글이 올라올 때마다 Open AI에 비용을 지불해야 한다면, 그 점은 고려해야 할 사항입니다.

게시글 하나당 광고 수익이나 고객 참여도에 미치는 한계 가치는 얼마일까요?

결국 정당성을 갖기 위해서는 비용 대비 수익이 나야 합니다.

커뮤니티 관리 시간을 상당 부분 줄이고 사이트 전반의 품질을 향상시켜 강력한 근거를 만들 수 있을 것이라 의심하지 않습니다.

하지만 단순히 기능이나 기술적 실현 가능성만으로 결정할 수 있는 것이 아니라, 이러한 사항들을 고려해야 하지 않습니까?

5개의 좋아요