현재 Discourse Automation 플러그인을 사용하면 감지된 키워드를 기반으로 주제에 대한 응답을 생성할 수 있습니다. 이 옵션은 Auto Responder 스크립트의 일부로 제공되며, List of word/answer pairs 옵션을 통해 설정할 수 있습니다. 또한, LLM 프롬프트, 그 결과 및 게시글 컨텍스트를 기반으로 주제에 대한 표준 응답을 제공하는 AI 트리아지(AI triage)를 사용할 수도 있습니다.
이번 기능 요청의 핵심 아이디어는 키워드에 의존하는 대신 사용자 정의 가능한 프롬프트를 통해 LLM을 활용하여 작성된 내용을 해석하는 것입니다. 이를 통해 LLM이 단순한 표준 응답을 사용하는 대신 지능적으로 응답할 수 있습니다.
이러한 기능에 다른 분들도 관심이 있는지, 그리고 어떤 용도로 활용할지 궁금합니다. 구체적인 사용 사례 예시는 언제나 환영입니다!
여기 텍스트로든, 실제 사용 사례에 대한 링크로든 몇 가지 예시를 보여줄 수 있을까요? 감사합니다.
이것은 그 중 일부입니다:
물론입니다! 이 기술의 활용 사례는 무궁무진합니다. 기본적인 지원 봇을 생각해 보세요. 사용자가 Discourse의 특정 기능을 어떻게 사용하는지 몰라서 “도움말” 카테고리에 게시글을 올리는 경우입니다. 이 경우, 해당 카테고리에서 생성되는 각 새 주제에 자동으로 응답하는 지정된 페르소나(봇)를 설정할 수 있습니다. 여기에 RAG, 도구, 그리고 상세한 프롬프트 엔지니어링을 결합하면 꽤 창의적인 결과물을 만들어낼 수 있습니다.
가정적으로, 각 카테고리에 자체적인 “카테고리 전문가 봇”을 둘 수도 있겠죠.
글쎄요, 제가 링크한 그 제품은 정확히 그런 역할을 합니다. 그리고 제가 그렇게 사용한 것입니다(방법을 변경했기 때문에 과거형을 사용한 것이지, 실패해서 그런 것은 아닙니다).
현재 이 작업은 진행 중입니다:
아이디어는 분류(triage)를 수행할 도구를 선택할 수 있다는 것입니다. 이 도구는 주제 생성, 좋아요 누르기 등 사용자가 원하는 작업을 수행할 수 있습니다. 조만간 이 작업에 대한 개발을 계속할 예정입니다.
이것은 내부적으로 요청으로 들어왔기 때문에, 샘이 현재 커뮤니티의 예시와 사용 사례를 바탕으로 아이디어를 탐구하고 있습니다.
제게는 사용자가 올바른 위치에 게시물을 올릴 수 있도록 유도하는 것이 하나의 예시가 될 수 있습니다. 즉, 특정 주제가 카테고리와의 일치도가 낮아 보일 때, 해당 변경을 자동으로 수행하는 대신, 다른 카테고리를 제안하는 댓글을 달아 주는 방식이죠.
우리의 사용 사례는 사용자가 Discourse에 질문을 게시할 때, 학습된 AI 모델을 활용하여 첫 번째 게시물에 대한 초기 답변을 제공하는 것입니다. 필요 시 우리가 후속 조치를 취할 수 있도록, AI가 빠르고 전문적인 답변을 제공하려는 것입니다.
카테고리별로 AI 카테고리 전문가를 두는 아이디어도 매우 좋습니다.
이제 공개되었습니다 … 미리 보기:
내일 문서화를 진행할 예정입니다. 현재 제가 '모드 1’과 '모드 2’라고 부르는 기능들이 구현되었습니다:
또한 (3) 초고급 모드를 구현했으며, 이는 아직 진행 중이므로 현재 비활성화되어 있습니다.
이 기능은 아직 완성되지 않았지만, 완료되면 LLM을 사용하여 분류한 후 올바른 페르소나에게 라우팅하는 등 매우 복잡하고 정교한 작업을 수행할 수 있게 됩니다.
내일 문서화를 진행하겠습니다.
개인적으로 자동 응답 기능이 사용자에게 너무 큰 불쾌감을 줄 수 있다는 우려 때문에 이 아이디어를 좋아하지 않습니다(하지만 우리 사용자들의 새 주제에 대한 응답률이 괜찮아서 그런 걸지도 모릅니다).
다만, 이 사용 사례가 가장 마음에 듭니다:
실제로 우리는 몇 년 전부터 API를 통해 이와 유사한 기능을 자동화하고 있습니다. 주제에 24시간 동안 답장이 없을 경우 미리 작성된 답변으로 회신하는 방식입니다. LLM을 활용하여 이 미리 작성된 답변을 보완할 수 있다면 훌륭할 것입니다(단, x시간이 지난 후 답장이 없는 주제에만 조건부로 응답하도록 할 수 있는 토글 기능이 있어야 합니다).
우리가 지원하는 모드인 Whispers를 사용하는 것이 이 문제를 해결하는 한 가지 방법입니다. 이를 통해 관리자(모더레이터)를 보조할 수 있습니다.
또한, 몇 가지 정교한 플로우를 사용하면 이 위험을 크게 줄일 수 있다고 생각합니다(도구 개발이 완료된 후에야 가능할 것입니다).
이 아이디어를 정말 좋아합니다. 새로운 유형의 자동화 트리거가 필요할 것이며, 이에 대해 고민해 봐야 합니다. “X 카테고리의 주제를 대상으로, 하루 동안 응답이 없는 주제에 대해 트리거 - 10분마다 확인” 같은 트리거는 현재 가지고 있지 않습니다… 자동화에 이를 추가하는 방법을 찾아야 합니다.
“stalled topic(정체된 주제)” 트리거는 있지만, "답글이 있는 경우 우회(bypass)"하는 기능을 지원하지 않는 것 같습니다. 확장 작업이 필요할 수 있습니다.
또한 API 통합을 위해 "이 페르소나로 이 주제에 답하기"라는 액션이 있다면 매우 훌륭하고, 개발하기도 아주 쉬울 것입니다.
이제 여기서 사용할 수 있습니다.
@hel_Sinki, @loginerror, Falco가 방금 이 PR을 릴리스했습니다:
FEATURE: Add stalled_topic trigger to AI automation scripts - Pull Request #37728 - discourse/discourse - GitHub 에서 AI 스크립트에 정체(stalled) 트리거를 추가했습니다.
ai_tool_action와 함께 사용하면 논의된 워크플로우 중 많은 것을 수행할 수 있습니다.
이 기능을 만들어 주셔서 감사합니다. 오늘 테스트해 봤는데, 정상적으로 작동하는 것 같습니다.
한 가지 발견한 점은 AI 도구 매개변수를 설정할 수 없다는 것입니다. 대신 값이 하드코딩되어 있어야 합니다(또는 매개변수가 설정되지 않았을 때 사용할 기본값이 내장되어 있어야 합니다). 큰 문제는 아니지만 참고할 만한 점입니다.
어쨌든 이 기능을 만들어 주셔서 다시 한번 감사합니다!
내가 가진 아이디어 중 하나는 새로운 시크릿 기능을 통해 도구에 정보를 공급할 수 있도록 하는 것입니다. 이는 관련성이 있다고 생각합니다.
