배경AI 요약 기능이 출시된 지 이미 상당한 시간이 지났습니다. 초기 피드백을 확인했지만, 해당 논의를 다시 살펴보고자 합니다. AI 요약 기능의 추가 개발에 투자하는 방안을 검토하고 있는 시점에서, 먼저 Meta 내부의 사용자 피드백을 이해하고자 합니다.
피드백자유롭게 솔직한 의견을 말씀해 주세요. 아래 질문들에 대해 알고 싶은 점들이 있습니다.
“아니요”라고 말하고 싶지만, 투표의 문구가 좀 섣부르게 느껴집니다. 제 의식적인 결정이라기보다는, AI 요약이 유용할 수 있는 상황에서 “아, AI 요약을 써야겠다”라고 자연스럽게 떠오른 적이 아직 없기 때문이죠.
제 문제는 두 가지입니다:
다만 언어 장벽은 우회할 수 있습니다. 동일한 모델을 사용하는 GPT에게 핀란드어로 요약하라고 요청한 뒤, 그 결과를 가져와 다시 요약을 생성하면 핀란드어로 나옵니다.
몇 날에 한 번 정도 사용합니다. 관리자로써 모든 토픽을 읽지만, 요약은 저에게 항상 유용하지는 않으며, 다른 사람들을 위해 만들어지는 것입니다.
때로는 매우 유용하지만, 다른 때는 중요한 정보를 놓치기도 합니다. 요약이 신호(signal)보다는 노이즈(noise)를 부각시키는 경우가 있습니다. 정말로 정보가 필요할 때는 요약에 의존해 판단하지 않고, 보석 같은 정보가 숨어 있을 수 있으므로 토픽 전체를 읽습니다. 요약에서는 이를 놓칠 수 있기 때문입니다.
GPT-4 기반 요약을 자주 사용하는데, 모델이 주기적으로 업데이트되므로 언어 모델이 토픽을 이해하는 데 어려움을 겪는 것처럼 보이는 경우가 있습니다.
항상 그렇지는 않습니다. 많은 게시글을 읽다 보니, 게시글로 돌아왔을 때 버튼이 있는 상단 대신 토픽 하단에 있는 경우가 많습니다. 이로 인해 버튼을 사용하기 위해 상단까지 스크롤해야 하는 경우가 많습니다. 하단에도 버튼이 위치해 있으면 더 편리할 것입니다.
환각 현상, 언어 지원, 접근성 등이 이 도구를 아예 사용하지 않게 만드는 큰 장벽이 될 수 있다는 점은 충분히 이해합니다.
LLM이 내용을 제대로 이해하지 못하거나 잘못된 응답을给出的다는 점에 대해, 좀 더 작고 간결한 요약본을 활용하면 일부 문제를 완화할 수 있을지도 모르겠네요 
단순한 lineal(직선형) 방식보다는, 1/5 메시지에 스토리를 들려주거나 설문조사를 통해 피드백을 받아 참여도를 높이는 등 더 창의적인 방법을 원합니다.
가끔은 분석 데이터를 활용해 단일 주제를 선택하는 방식(방문 수, 좋아요 순서로 상위 X개의 인기* 주제 간 전환)도 좋습니다.
이러한 기능들이 있다면 Discourse가 보내는 이메일을 대체할 수 있을 뿐만 아니라, 해당 기능 자체에도 새로운 활력을 불어넣을 수 있을 것 같습니다.
이 기능을 좋아합니다. 개선할 여지가 있네요 
투표에 응답하지 않은 이유는 제 답이 다르기 때문입니다. 포럼을 AI API에 연결하는 데 얼마의 비용이 들지는 아직 확인해 보지 않았습니다. 번역 기능을 조사했을 때 비용이 너무 비쌌기 때문에, 이 기능도 비용이 많이 들 수 있다고 추정하고 있습니다.
여기서 사용하지 않은 이유는 게시글이 길지 않고, 저는 보통 특정 내용을 찾아볼 때가 많기 때문입니다.
긴 주제(토론)를 분석하는 데 제가 사용하는 접근 방식이 있습니다:
일반적으로 AI가 생성한 텍스트는 불쾌감을 줍니다.
긴박한 상황이라면 AI 요약을 사용하겠지만, 호기심에 버튼을 클릭해 본 것을 제외하고는 아직 그런 상황이 오지 않았습니다.
제가 정말 보고 싶은 것은 주제 내의 게시물과 사용자 수를 제한하는 메커니즘입니다. 그렇게 된다면 AI 생성 요약에 대한 필요성이 줄어들 것입니다.
Discourse의 AI 통합에 대한 나의 희망 중 하나는, 대화를 자연스럽고 인간적인 방식으로 진행할 수 있으면서도, 전체 대화를 따라가지 않은 사용자들에게 포럼이 지식 베이스로 기능할 수 있도록 하는 것입니다. 시맨틱 검색(특히 주제 내에서 검색할 때)은 이를 도울 것입니다. 또 다른 접근 방식은 AI가 생성한 주제 요약을 사용하여 주제를 여러 하위 주제로 나누는 것입니다.
충분한 수의 게시글을 가진 주제에 대해서는, 요약에서 OP(첫 번째 게시글)를 개요로 제시한 후, “이 주제에서 논의된 주제” 섹션을 포함할 수 있습니다. 사용자 카드에서 “(n)개의 게시글” 버튼을 클릭하면 해당 사용자의 게시글을 전체 주제에서 추출하는 방식과 유사하게, 각 논의된 하위 주제에는 전체 주제에서 해당 부분 대화를 추출할 수 있는 버튼을 제공할 수 있습니다.
이 기능은 긴 주제를 여러 주제로 분리하고 싶은 모더레이터들에게도 유용할 수 있습니다.
참고로, 이 기능은 Meta에서 예전보다 테스트하기가 더 어려워졌습니다. 지난 몇 년간 주제들이 OP와 관련성을 유지하도록 하는 노력이 이루어져 왔기 때문입니다.
Discourse AI를 개발하면서 이것이 분명 우리의 북극성 중 하나였다고 생각합니다.
저는 이를 머릿속에서 주제의 관련 주제에 따라 팝업되는 생각 거품(thought bubbles)처럼 시각화합니다.