AI로 자동 생성된 주제에 어떻게 대응할까

안녕하세요, AI 모델 또는 유사한 옵션 중 하나로 특정 주제에 대해 AI가 자동으로 답변을 생성할 수 있는 기능이 있을까요?

예를 들어, 도메인 등록을 요청하는 사이트들이 나열된 주제에서 AI가 각 페이지에 자동으로 응답하는 방식이 가능한지 궁금합니다. 이전에는 이러한 기능이 구현되지 않은 주제에서는 수동으로 몇 번의 클릭으로 하나씩 처리할 수 있었습니다.

특정 카테고리에서 새 토픽에 대해 봇이 자동으로 응답하도록 설정할 수 있는 “자동 응답”(answering machine) 모드가 있습니다. 카테고리별로 봇의 프롬프트를 설정하여其行为을 맞춤 설정할 수 있습니다.

예를 들어, 이 기능을 사용해 새 멤버를 “지능적으로” 환영하는 데 사용하고 있습니다.

Discourse Automation으로 이 기능을 설정하고, Discourse AI로 보완할 수 있다고 생각합니다.

"AI Personas"에 "역할(Roles)"을 추가할 계획입니다.

진행 중인 PR이 있어서 그리 멀지 않습니다.

역할(Roles):
“Bot” → 우리가 모두 사랑하는 PM/채팅 기능
“Group responder” → 그룹 PM의 첫 게시물에 응답 (게시물 또는 속삭임으로)
“Topic responder” → 특정 카테고리의 주제나 특정 태그를 포함하는 주제에 응답 (게시물 또는 속삭임으로)

현재는 주제의 첫 게시물에 응답하는 역할에 대해서만 생각하고 있습니다. 그 이후에는 … 복잡해지고 비용도 많이 들게 될 것입니다.

몇 주 정도 걸릴 예정입니다.

진행 상황은 어떤가요? "Forever Alone"이라고 부르는, 답장이 전혀 없는 게시물에 이 기능을 사용해 답글을 달 수 있기를 바랐거든요.

LLM과 커뮤니티 검색/컨텍스트를 활용하여 잠재적인 도움이나 제안을 자동으로 답글로 달 수 있으면 좋겠습니다.

이 기능을 위한 브랜치는 만들어 두었지만, 요즘 변경 사항이 많아 잠시 보류해 두었습니다.

다만, Responder는 원래 바로 응답하는 것이 목적이었는데, 여기서 설명하시는 내용은 자동화처럼 느껴지네요. 특정 카테고리의 답글이 0개인 주제에 대해 1주일 후 답글을 달아주는 식으로요.

이 기능이 어떻게 작동하고 도움이 될지 어떻게 보고 계신가요? 구체적인 예시를 하나나 둘 더 설명해 주실 수 있을까요?

많은 경우 사람들이 해당 게시물을 보지 못해서 '영원히 혼자’인 카테고리로 떨어지는 것을 발견했습니다. 저희 포럼은 꽤 활발한데, 게시물이 활성 주제 목록을 지나쳐 버리면 사람들이 잊어버리는 경우가 많습니다.

가끔은 이미 답이 올라와 있지만 질문한 사람이 포럼을 검색하지 못한 경우도 있습니다.

그래서 다른 주제에 대한 흥미로운 관련 링크를 달아 답글을 달거나, 게시물을 상단으로 올려 가시성을 높이는 것이 도움이 될 것이라고 생각합니다.

더 좋은 옵션은 포럼 전체의 내용을 바탕으로 질문에 실제로 답변을 시도하는 것이지만, 그것은 다소 어렵고(즉, 비용이 많이 드는) 일이라고 생각합니다.

해당 특정 사용 사례에서는 여기에서 제안된 두 가지 솔루션 중 하나를 사용하여 스태프 팀에게 도구를 제공한 적이 있으며, 성공적이었습니다.

개인적으로는 노이즈를 증가시키지 않으면서도 해당 항목들의 가시성을 높이는 것이 더 좋다고 생각합니다.

정말 멋진 아이디어네요. 방금 확인해 봤는데, 키-값 쌍으로만 작동하는 자동 응답기를 활용해서 어떻게 하면 될지 혹시 아이디어가 있으신가요? :innocent:

사용자가 실제로 해당 AI 페르소나를 @멘션한 것처럼, AI 페르소나가 자동으로 게시글에 응답하는 방식이요.

답변이나 게시글이 없는 오래된 주제에 대해 AI가 답변을 제공했을 때, 실제 답변 대신 이를 받았을 때 사용자들의 반응을 테스트해 보았습니다.

10번 시도했고, 10명 모두 정말 화가 난 상태였습니다 — 그래서 이 방식은 모든 포럼이나 문화에 적합하지 않다고 말할 수 있습니다.

저는 알지 못하며 그저 추측할 수 있는 것은 두 가지 이유가 있었다는 것입니다:

  • AI가 너무 일반적이었고 환각(hallucination)을 너무 많이 일으켰습니다. 즉, 가짜로 유용해 보이는 답변만 제공했습니다.
  • 사용자들은 너무 오래 기다렸다가, 보통은 일어나지 않는 AI 답변을 받았기 때문에 모욕감을 느끼고 자신의 질문이 실제 사람의 시간을 들일 가치가 없다고 생각했습니다.

첫 번째 이유는 KB 데이터, 프롬프트, 그리고 AI의 한계에서 비롯됩니다. 두 번째 이유는… 그들이 옳았습니다. 사람들은 AI 채팅 등이 돈을 절약하기 위한 것임을 알기 때문에, '개인적’이나 ‘서비스’ 같은 단어를 사용하지 말아야 할 길을 선택하려는 경향이 있습니다 :smirking_face:

물론, 그 테스트는 작았습니다. 그리고 제 사이트는 비즈니스가 아니라 또 다른 커뮤니티이며, 사람들은 취미 기반의 활동에서 더 민감합니다 (모든 사람이 비즈니스가 돈을 가장 쉽게 벌려고 한다는 것을 이미 알고 있기 때문이죠 :rofl:)

그리고 교정에 대해

AI 교정을 사용했습니다. 따라서 여전히 끔찍한 오류가 있다면, 그것은 더 이상 제 책임이 아닙니다 :winking_face_with_tongue: 이 기능을 꽤 좋아합니다.

안녕하세요 @merefield, 멋진 플러그인입니다. 여기가 답변하기에 적절한 곳인지 모르겠지만, 혹시 Discourse Chatbot으로 AI가 모든 게시물에 답변하는 대신, 새로 생성된 토픽에서 원글 작성자에게만 답변할 수 있을까요? AI가 과도하게 답변하는 것은 피하되, 관련 맥락을 제공하기에 아주 좋은 기회라고 생각합니다. 감사합니다!

Chatbot을 사용하면 속삭임(whisper)으로 프롬프트를 작성할 수 있습니다. "hey @Chatbot respond to the first post."와 같은 문구를 시도해 보세요. 대부분의 사용자는 속삭임을 볼 수 없으며, 봇이 자발적으로 반응했다고 생각할 것입니다.

또한 Chatbot 설정에서 지정된 카테고리의 모든 새 주제에 자동으로 응답할 수 있습니다. 각 카테고리의 설정에 프롬프트를 입력하여 동작 방식을 맞춤 설정할 수 있습니다.

좋아요. 프롬프팅에 대해 알아볼게요. 감사합니다!