여기서 후속 업데이트를 남깁니다. @Roman 님의 프롬프트 개선 작업 덕분에 AI 트리아지에 더 이상 아래 내용이 필요하지 않습니다.
3개의 좋아요
여러분 안녕하세요! 이 코멘트는 감사의 인사입니다. 이 기능에 대해 제가 살펴본 게시물들 외에도 여기에 제공된 정보를 공유해 주셔서 진심으로 감사드립니다.
이 내용을 통해 해당 작업이 어떻게 구현되었는지에 대해 꼭 필요했던 맥락을 이해할 수 있었습니다. 저는 현재 기업, 소셜 미디어, 특히 작거나 성장 중인 커뮤니티에서 온라인 독성(Toxicity) 모델의 측정과 식별을 연구하고 있습니다. 아직 보고할 큰 내용은 없지만, 궁금한 점이 많습니다.
2개의 좋아요
간단히 여쭤볼게요 - 이미 실행 중인 기존 프롬프트도 업데이트해야 한다는 뜻인가요?
2개의 좋아요
네, 변경 사항을 반영하기 위해 기존 프롬프트를 지금 업데이트해야 합니다.
2개의 좋아요
AI Triage는 정말 훌륭합니다! 고전적인 ‘bag of words’ 알고리즘에서 얼마나 더 나아갈 수 있을지 기대됩니다. 게시글 분류기는 멋진 기능입니다. 게시글 승인 대기열과 함께 사용할 수 있는 계획이 있는지 궁금합니다. (approve post count, approve unless allowed groups).
즉, 분류기를 단순히 검토 대기열에 추가하는 용도로만 사용하는 것이 아니라, 대기열에서 게시글을 자동으로 승인하거나 거부하는 데도 활용하자는 것입니다. (플래그 처리가 아닌 승인 처리를 의미합니다.)
AI 게시글 분류와 게시글 검토 대기열은 서로 보완적인 관계라고 생각합니다.
4개의 좋아요
태그를 추가하거나 카테고리를 변경하려면 현재 다음과 같은 옵션이 있습니다(틀린 부분이 있으면 지적해 주세요)
- 사용자가 AI 어시스턴트를 사용하여 작성기(composer) 내에서 가장 가까운 이웃 임베딩 벡터를 기반으로 이전 게시물과 비교하여 태그와 카테고리를 제안합니다.
- 관리자가 별도의 AI 게시물 분류기를 설정하여 모든 가능한 태그와 카테고리에 대해 주제를 LLM으로 처리합니다. LLM의 출력이 그렇게 지시할 경우 태그를 추가하거나 카테고리를 변경합니다. 임의의 태그를 추가하지 않으며, 각 분류기는 특정 태그를 추가할지 여부를 단순히 예/아니오로 결정합니다. 이는 설정과 유지보수가 번거로운 것은 물론, 모두 실행해야 하므로 비용도 많이 듭니다.
제가 원하는 것은 다음과 같은 지시를 받는 분류기입니다.
당신은 포럼용 태그링 어시스턴트입니다. 이 포럼은 X, Y, Z에 관한 것입니다.
당신의 작업은 다음 태그 중 하나 이상으로 포럼 게시물을 태그하는 것입니다:
- 게시물이 무언가를 판매하는지 또는 구하는지를 지정하는 태그: for_sale, wanted, advice
- 게시물이 다루는 항목의 종류를 지정하는 태그: cars, services, tickets, kids_stuff, home_and_garden, other.
NSFW인 메시지를 만나면 NSFW로 태그하세요.
게시물을 조정(moderate)하기 위해 액션을 설정할 수도 있습니다.
이 포럼의 주제와 일치하지만 공격적으로 받아들여질 수 있는 메시지를 만나면 액션을 'flag’로 설정하세요.
주제와 무관한 메시지를 만나면 액션을 'hide’로 설정하세요.
이것은 OpenAI의 훌륭한 새로운 구조화된 출력(structured outputs) 옵션과 함께 사용할 수 있으며, 추가할 태그나 취할 액션을 지정하는 JSON 구조를 반환하여 분류기가 이를 처리하게 합니다.
이러한 기능이 로드맵에 포함되어 있거나 PR이 환영되는가요? 아니면 이것이 플러그인의 영역인가요?
7개의 좋아요
가장 안전한 방법은 이 기능을 위해 완전히 새로운 자동화를 정의하는 것일 것 같습니다. 현재 구현 방식과 구조적으로 매우 다르기 때문입니다.
Discourse AI에 대해 잘 테스트된 PR을 환영합니다.
다만, 현재 AI의 Completion Prompt는 구조화된 출력을 지원하지 않습니다. 이 개념을 추가하고 OpenAI 모델에 구현해야 하며, 우리는 수많은 모델을 지원하지만 그중 많은 모델이 네이티브 지원을 제공하지 않습니다. 최종 사용자에게 혼란을 주지 않고, 해당 기능을 지원하지 않는 모델을 선택할 수 있도록 허용하는 한, 일단 OpenAI 지원만을 제공하는 PR에는 열려 있습니다.
변경 사항이 상당하지만, 용감하게 도전해 보신다면 환영합니다.
구조화된 출력 지원이 완료된 Completion Prompt에 적용되도록 하는 것부터 시작하여 여러 PR로 나누어 진행하는 것을 권장합니다(테스트 완료 상태).
9개의 좋아요
‘자동 태그 지정’ 자동화 기능을 만드는 과정에서 태그 그룹에 추가된 태그를 선택할 수 없습니다. 이 문제를 해결할 수 있는 우회 방법이 있는지 알려주시면 감사하겠습니다. 기존 태그 그룹을 유지하는 것이 좋습니다. 감사합니다!
1개의 좋아요
여러분 안녕하세요,
제가 이해한 게 맞는지 확인하고 싶습니다. 50개의 카테고리가 있고, AI 트리아지를 사용해 게시물을 해당 카테고리로 자동 분류하는 경우, 이를 위해 50개의 고유한 자동화가 필요한 건가요?
LLM이 호출되는 시점은 해당 초기 게시물에 대해 새 토픽이 생성될 때뿐인가요? 이 시나리오에서는 AI 사용량이 과하지 않은 것 같습니다.
누군가가 이 문제를 위해 다른 접근법을 고려하고 있다는 내용을 읽은 것 같은데, 아마도 아직 아이디어 단계일 것 같습니다.
3개의 좋아요
질문에 대한 답은 자동 분류를 얼마나 세분화하고 싶은지에 따라 달라진다고 생각합니다.
자동화로 주제를 자동 분류할 때, 검색 입력창의 일치 여부가 AI 사용보다 우선시되는지 누군가 알려주실 수 있을까요?
즉, 자동화에서 검색 용어로 'Banana’를 설정하고 사용자가 게시글 내에 'Banana’를 포함하여 주제를 생성하면, '일치, AI 미호출. banana로 분류’가 실행됩니다.
만약 사용자가 '원숭이가 먹는 노란 과일’과 같이 언급하는 주제를 생성하면, ‘일치 안 함’ 상태가 되어 AI 프롬프트가 실행되며, 해당 설명이 바나나 
임을 판단할 수 있습니다.
이 시나리오에서 'Banana’는 이미 존재하는 카테고리이기도 합니다.
1개의 좋아요
이 중 일부는 @RGJ가 이야기했던 내용과 연결되며, @Falco와 함께我一直在 고민하고 있는 아이디어들과도 관련이 있습니다.
지금 저는 페르소나를 에이전트로 작동하게 하는 것을 허용하는 방향으로 생각을 열고 있습니다. 그러면 도구를 통해 에이전트를 자유롭게 풀어주어, 주제 분류 등 다양한 작업을 대신 수행하게 할 수 있습니다.
여기서 메커니즘은 아직 확정되지 않았지만, 우리는 이 부분을 검토하고 있습니다.
자동화 50개 제한은 분명히 최악의 해결책입니다.
6개의 좋아요
안녕하세요
AI Triage가 검색을 수행할 수 있을까요? 다른 주제의 생성 날짜가 하루 미만인 경우, 유사한 제목을 가진 주제를 피하는 프롬프트를 사용하려고 합니다. AI Triage로 이것이 가능한가요?
1개의 좋아요
지금은 그렇지 않습니다. 말씀하신 내용은 '에이전트’와 유사한 행동처럼 들립니다. 이 부분은 확실히 고려하고 있는 내용입니다!
3개의 좋아요
와, 정말 완벽하게 작동하네요!
자문을 구하고 싶습니다: 토큰 수 상한선은 얼마로 설정하는 것이 좋을까요? 저트래픽 포럼용입니다.
관련성이 있어서 여기로 복사합니다
1개의 좋아요
이 기능은 개선이 필요하다고 생각합니다. AI가 주제를 자동으로 분류하고 적절한 태그를 지원해 주는 것을 기대합니다. 현재 상태에서는 완전히 자동화되어 있지 않거나(또는 제가 이해하지 못한 것일 수도 있습니다), 예를 들어 특정 카테고리를 직접 선택해야 합니다. 실제로 AI가 있는 상태에서 왜 모든 것을 처리하지 않는지 궁금합니다. 이는 사용자와 관리자에게 큰 편의가 될 것입니다. AI가 카테고리와 태그를 자동으로 정리해 준다면 제목까지 포함할 수 있을 것입니다. 그러면 사용자가 해야 할 일은 말하고 싶은 내용만 작성하는 것뿐이겠죠. 몇 초를 절약해 줄 뿐만 아니라 사용자들에게 큰 편의를 제공할 것입니다.
가장 근본적인 답은 '모든 일’이라는 개념이 사람마다 다르다는 점입니다. 기본 설정이 도움이 되긴 하지만, 99%의 사용자에게 완벽하게 맞는 레시피를 찾는 것은 매우 어렵습니다. 모든 커뮤니티는 조금씩 다르니까요.
3개의 좋아요
우리의 목표는 사용자의 업무를 더 쉽게 만드는 것입니다. 따라서 이 기능을 자동화하고, 필요할 때 관리자나 권한이 있는 사용자가 편집하고 AI에 피드백을 제공할 수 있도록 하겠습니다. 이 기능은 그대로 유지하되, AI가 완전히 주도하는 카테고리 및 태그 결정 방식에 대해서는 고민이 필요합니다.
실제로 제 기대는, 사용자가 https://ask.discourse.com/에서처럼 새 주제를 쉽게 생성하고, 카테고리, 제목, 태그에 시간을 낭비하지 않는 것입니다. 원한다면 나중에 수정할 수 있지만, 사용자에게 이러한 편의성을 제공하는 것이 가져올 이점에 대해 고민해야 합니다.
AI가 이 일을 잘 수행할 가능성은 낮습니다. 주제 작성자가 커뮤니티에 대해 충분히 알지 못해 어떤 주제에 속해야 하는지, 또는 합리적인 제목이 무엇인지 모른다면, 그 사용자가 커뮤니티에 가치 있는 내용을 게시할 가능성도 낮을 것입니다.
당신은 어디까지 허용할 건가요? 왜 사용자로 하여금 아예 아무것도 쓰지 못하게 하는 건가요? AI가 주제와 답변까지 생성해야 하지 않나요?
2개의 좋아요
마지막 댓글들에 동의하지만, 자동 분류는 실험해 볼 만한 좋은 기능이 될 수 있습니다.
Sam이 지적한 것처럼, 사용자마다 다양한 요구 사항이 있으므로 이 기능을 활성화/비활성화할 수 있는 옵션이 있으면 좋을 것입니다.
카테고리를 선택하는 UI/UX는 비기술적 사용자에게 어렵습니다. 아무도 드롭다운을 스크롤하거나 마우스와 키보드를 동시에 조작하고 싶지 않으며, 그냥 입력하고 메시지를 게시하고 싶어 합니다.
1개의 좋아요