Discourse AI - AI 트리아지

그것에 대한 하나의 답변은 다음과 같습니다: AI는 그런 것들을 잘하지 못합니다.

당신은 AI가 무엇이며, 무엇을 할 수 있는지, 또는 인간이 그것과 어떻게 상호작용할 수 있는지에 대해 다소 낭만적인 생각을 가지고 있습니다.

하지만 그런 반자동 기능이 있습니다: AI-헬퍼(AI-helper). 사용해 볼 수 있습니다. 하지만 여기에서조차 AI가 작성한 제목이 상대적으로 적은 데에는 이유가 있습니다.

다시 말하지만, AI가 할 수 있는 것 중 상대적으로 잘하는 것은 교정(프루프리딩)과 번역입니다. 이것은 확률을 다루는 언어 모델이기 때문에 큰 놀라운 일이 아닙니다. 하지만 그 경우에도 어떤 언어가 사용되었는지 추측해야 할 때는 어려움을 겪습니다.

AI에게 모든 의미론적 권한을 부여하면 백그라운드에서 인간의 업무가 더 많이 필요하게 됩니다. 저는 행정적인 면에서 꿈속에서 살고 있습니다. 문제적인 사용자도 없고 스팸도 없습니다. 그럼에도 불구하고 오탐(false positives)이 발생했습니다 — 아주 드물지만요. 그리고 그것을 수정하려고 할 때, "관리자 또는 권한이 있는 사용자가 이를 편집하고 AI에 피드백을 제공할 수 있습니다"라고 쓰는 것이 실제로 하는 것보다 훨씬 쉽습니다.

제 글쓰기 방식은 때로 AI에게 어려울 수 있습니다. AI는 영어를 가장 잘 알고 있지만요. 저는 영어의 구조를 올바르게 유지하려고 노력하지만, 장소와 시간을 어떻게 그리고 어떤 순서로 사용해야 하는지는 제가 할 수 없는 것입니다. 제가 영어 단어를 사용하여 핀란드어를 작성하는 상황에 부딪혔을 때, AI는 때로는 완전히 잘못 수정하고, 맥락과 요점을 놓치는 경우가 꽤 많습니다.

제가 말하려는 것은, AI가 이집트 문양(히에로글리프), 즉 이모지와 반응만 있는 문장을 받으면 어떤 가능성이 있는가 하는 것입니다. 또는 주제(title)가 단순히 제목만 있는 경우요. 그런 것들을 올바른 카테고리와 태그로 분류하는 것은 AI에게 거의 불가능에 가깝습니다.

AI는 성공률이 85~90%이고, 나머지 10~15%를 수정하는 데 너무 많은 비용이 들지 않는다면 잘 작동합니다. 그것은 허용 가능한 수준입니다. 하지만 만약 모더레이터가 같은 수의 오류를 범한다면, 관리자는 모더레이션 팀을 꽤 빨리 교체할 것입니다. 동시에 그것은 1,000개의 게시물 중 100~150개가 잘못된 카테고리에 있고 잘못된 태그를 달고 있으며, 제목은 힘든 환각(hallucination) 이후의 결과라는 것을 의미합니다.

Chat GPT는 우리가 포럼에서 사용하는 어떤 AI 도구보다 더 비쌉니다. 그것은 Varnish Cache의 한 질문에 대한 해결책을 제시했습니다. 그것은 올바르게 보였지만 작동하지 않았습니다. 저는 처음에 Chat GPT에게 도움을 청한 것은 시간을 절약하기 위해서였는데, 제가 직접 필요한 if 구조를 작성하는 것이 너무 귀찮아서였습니다.

그 이유는 Chat GPT가 County-Code(카운티 코드)와 Country-Code(국가 코드)의 차이를 볼 수 없었기 때문입니다. Chat GPT와 대화한 후 문제를 수정하는 데 걸린 시간은 제가 처음부터 직접 해결하는 데 걸릴 시간보다 더 많았습니다.

왜 제가 그것을 사용합니까? 그 85%의 성공률 때문입니다.

하지만 그것이 단어 strawberry에 r가 몇 개 있는지조차 구별하지 못하는데, 우리는 그것이 대부분의 경우 할 수 있기 때문에 단어와 맥락으로 작업하는 것을 사용하길 원합니다. 하지만 그것이 실패할 때, 그리고 대량 작업을 수행할 때… 수정은 꽤 요구가 높을 수 있고 실제로 그렇게 될 것입니다. 왜냐하면 우리는 다른 기술도 가지고 있기 때문입니다.

AI는 제 요약들을 엉망으로 만들었고, 동시에 번역도 했습니다. 그 기록들을 삭제하는 것은 쉬웠습니다. 하지만 새로운 것을 만드는 데는 저에게 100달러의 비용이 들었습니다. 만약 그것이 가능하다면, 모든 주제를 잘못된 카테고리와 잘못된 태그로 넣는다면 어떻게 될까요? 수정은 가능하지만, 비용이 많이 드는 오류가 될 것입니다.

AI는 아직 "모든 것"을 할 수 있는 수준에 있지 않습니다, 만약 그것이 가능하더라도요. 그것은 더나면 SF(공상과학)입니다. 하지만 한계와 잘 구조화된 가이드라인이 있을 때, AI는 일부 작업을 상대적으로 잘 수행할 수 있습니다. 하지만 모호한 현실을 다루는 것은… 아니요.

카테고리가 없는 포럼이라는 아이디어는 좋습니다.在那里 태그는 정보를 찾는 인간의 필요에 기반한 논리적 구조를 가지며, 모든 것이 자동화되도록 되어 있다면요.

2개의 좋아요

커뮤니티에 가치 있는 콘텐츠를 생산할 사용자는 이러한 영역을 볼 수 있지만, 신규 회원은 일반적으로 제목, 카테고리 또는 태그에 신경 쓰지 않습니다. Q&A 커뮤니티에서는 질문을 하고 답변을 얻는 것(예: AI 봇처럼)이 기대되는 전부입니다. 저는 더 초보적인 사용자들, 즉 시급한 질문에 대한 답변을 찾는 사용자들이 이 요청을 하기를 원합니다. 하지만 동시에 이러한 질문은 일반적으로 게시되어야 합니다. AI를 사용하면 이러한 주제는 커뮤니티에 도움이 되지 않고 뒤로 밀려납니다. 사이트 콘텐츠를 풍부하게 하고 동일한 질문에 대해 일반적으로 사용되도록 하는 것이 더 유용할 것입니다.

저 역시 AI로 제목과 태그를 생성하는데, 이 부분에서는 매우 성공적입니다. 좋은 프롬프트만 있다면 AI가 카테고리 및 태그 측면에서 좋은 결과를 줄 것이라고 확신합니다. 물론 그렇다고 해서 방치하라는 뜻은 아니며, 관리자가 이러한 주제를 재확인하고 필요한 조치를 취할 수 있습니다. 하지만 처음부터 이 권한을 AI에게 위임함으로써 시간을 절약할 수 있습니다. 올바른 카테고리에 없는 콘텐츠는 신고할 수 있거나, 관리자가 확인 시 수정할 수 있습니다. 목표는 이 업무를 더 쉽게 만드는 것입니다.

사실, 저는 간단한 웹훅으로 이것을 할 수 있습니다. 새 주제가 열리면 해당 페이지가 핑(ping)되고, 인공지능을 통해 올바른 카테고리(사이트 내)와 태그가 선택되며, 주제가 업데이트됩니다(API를 통해). 하지만 이미 존재하는 기능을 개발하는 것이 더 논리적일 것입니다.


말씀하신 내용에 동의합니다. 그러면 AI를 개발하여 에이전트처럼 실행하고, AI가 열리거나 편집된 주제에 대해 제안하도록 합시다. 예를 들어, 열린 주제에 적합한 카테고리, 태그 등입니다. 해야 할 유일한 변경 사항이 승인 버튼으로 승인하고 주제가 즉시 업데이트되는 것이라면 좋겠습니다. 그렇지 않다면, 편집을 빠르게 수행하고 승인하면 됩니다.

이것은 추가 비용이 될 가능성이 높지만, 자신의 업무를 더 쉽게 만들고 인간 통제를 포기하지 않으려는 관리자에게 좋은 도구가 될 수 있습니다. 포럼의 활동을 모니터링하고 관리자에게 또는 선택된 그룹의 사람들에게 알리는 AI. 음, 나쁜 아이디어는 아닌 것 같습니다 (물론 약간 주제에서 벗어났지만).

당신이 저보다 커뮤니티를 더 잘 알고 있죠. :person_shrugging:

그렇다면 사용자가 주제를 생성하는 동안 AI가 그 일을 수행하도록 하는 것은 어떨까요?

보통 궁금한 점이 생겼을 때 미리 준비해 둔 간단한 PHP 페이지를 실행해서 이 작업을 처리합니다. 예를 들어 “황금비율이란 무엇인가” 같은 것에 대해 궁금할 때, 내가 만든 페이지에 질문을 적어두면 AI와 상호작용하여 해당 사이트를 추가합니다(카테고리를 제외하고요). 다시 말해, 제목, 질문, 태그를 스스로 생성하는 것입니다. 이는 AI가 실제로 이 분야에서 성공할 수 있음을 보여줍니다.

예: https://sorucevap.com/u/nuran-kilic/activity/topics

이러한 필드를 숨기고(편집을 원하는 사람들을 위해 간단한 버튼을 제공할 수 있습니다), 질문이나 주제 입력 필드만으로 사용자가 빠르게 주제를 만들 수 있도록 하는 방법을 고려해 볼 수 있습니다. 이후에 이러한 필드를 편집하거나, 간단한 웹소켓 요청으로 직접 처리할 수도 있습니다. 하지만 Discourse는 AI 분야에서 훌륭한 일을 하고 있으니, 이러한 지원 기능이 있어도 놀랍지 않을 것입니다.

너무 주제에서 벗어나지 않고 더 나은 계획과 생각을 가지고 돌아올 수 있을 것입니다. 인내심을 가져주셔서 감사합니다 :slight_smile:

왜 AI가 그렇게 좋은 답변을 만들 수 있도록 하는 위키백과 글을 그냥 읽지 않는 걸까요?

1개의 좋아요

성공은 정의에 따라 다르며, 무언가를 할 수 있는 능력과는 다른 개념입니다.

주제에서 크게 벗어나지 않도록 하겠지만, 제 기준에서 스팸을 식별하는 성공률은 정의에 따라 0%이거나 매우 높습니다. 0%인 이유는 발견한 모든 것이 오탐(false positive)이었기 때문이고, 매우 높은 이유는 스팸이 아닌 것을 보고하지 않았기 때문입니다.

두 경우 모두 무언가를 수행하는 능력을 갖추고 있습니다.

AI가 주제를 분류할 때도 같은 일이 일어날 것입니다. 그리고 이것은 순수한 의견이지만, AI는 게시할 수 있을 만큼 충분히 좋은 글을 거의 쓰지 못합니다.

AI 이전에도 우리는 그렇게 하고 있었습니다. 하지만 여기서의 주제는 담론 시스템에서 인공지능을 더 효과적으로 활용하는 제 아이디어입니다. 잘해 주셨는데, 모든 사용자에게 맞춤 설정하는 것은 불가능하기 때문에 플러그인을 만들 수 있습니다. 작은 불만 하나를 말씀드리자면, 3일째 discourse 개발 환경을 설정하고 있습니다. 커뮤니티에서 이 주제에 대한 좋은 설치 가이드를 만들어 주시면 좋겠습니다 :slight_smile:

마지막으로 확인했을 때, 해당 가이드의 스크립트는 최신이 아니었습니다. 개발 환경을 최신 상태로 유지하는 것은 쉬운 일이 아닙니다.

권장되는 방법은 docker 개발 버전인 것 같지만, 이것도 큰 성과를 내지 못했습니다. 사람들이 어떻게 설정하는지 명확히 알지 못하겠습니다.

1개의 좋아요

한 번 시도해 볼게요. 성공하면 공유할 거예요. 클라우드에서는 시도해 봤는데, 작동은 하다가 크래시가 나서 안 됐어요. 로컬(Windows)에서 시도해 볼게요. 언젠가 꼭 시간을 내서 이걸 해볼 거예요. 제가 하기 전에 누군가 해준다면 정말 좋아할 거예요 :slight_smile:

특정 범주에 있는 기존 주제 목록을 분류하는 방법이 있을까요?

게시물이 새 주제로 분리되었습니다: 자동화 시스템이 게시물을 숨길 때 “실시간” 게시물을 숨김