Discourse AI - 요약

:bookmark: 이 주제는 Discourse AI 플러그인의 요약(Summarize) 기능 설정에 대해 다룹니다.

:person_raising_hand: 필요한 사용자 권한: 관리자(Administrator)

토픽과 채팅 채널을 요약하여 빠른 복습을 할 수 있습니다. 대규모 토픽이나 큰 규모의 토론에서 무슨 일이 일어나고 있는지 파악하는 데 유용합니다.

기능

  • 토픽 맵(토픽 상단 및 하단)에서 토픽 요약
  • 특정 기간(최대 7일)의 채팅 채널 요약
  • 이전에 생성된 토픽에 요약 결과 캐싱
  • 이전 요약 재생성
  • 요약 생성 날짜 및 사용된 AI 모델 확인

요약(Summarize) 활성화

사전 요구 사항

제공업체에서 최소 하나의 대규모 언어 모델(LLM)을 설정해야 합니다.

시작하려면 Discourse AI - 대규모 언어 모델(LLM) 설정 페이지를 통해 설정할 수 있습니다.

설정

  1. 관리자(Admin) → 플러그인(Plugins) → AI → 기능(Features)으로 이동하여 플러그인이 활성화되어 있는지(discourse ai enabled) 확인합니다.
  2. ai summarization agent를 통해 요약을 사용할 AI 에이전트를 선택합니다(기본 요약 에이전트가 미리 설정되어 있음).
  3. ai summarization enabled에 체크하여 요약(Summarize)을 활성화합니다.
  4. 요약 생성 및 열람이 가능한 사용자 그룹을 설정하려면 요약 에이전트( 관리자(Admin) → 플러그인(Plugins) → AI → 에이전트(Agents) 아래)의 허용된 그룹을 편집합니다.
  5. (선택 사항) ai pm summarization allowed groups를 통해 특정 사용자 그룹의 개인 메시지(PM) 요약을 활성화합니다.

기술 관련 FAQ

요약(Summarize)이 결과를 캐싱합니까?

  • 요약(Summarize)은 결과를 캐싱하며, 선택된 사용자 그룹 외부의 모든 사용자에게도 이를 제공합니다.

주의 사항

  • 요약(Summarize) 출력은 100% 정확하지 않을 수 있으므로 출력을 신중하게 확인하시기 바랍니다.
  • LLM 호출 비용이 비쌀 수 있습니다. 비용을 관리하기 위해 특정 사용자 그룹에 한해 요약(Summarize)을 활성화하는 것을 권장합니다.
20개의 좋아요

질문

요약 기능

오늘 OpenAI 포럼에서 요약 기능이 활성화되었습니다. 한 사용자와 논의하는 과정에서, 일반 사용자보다 훨씬 적은 콘텐츠로 이 주제 요약하기 옵션이 표시되는 것을 확인했습니다.

모더레이터에게는 이 주제 요약하기 옵션이 다음과 같이 표시됩니다.

  • 포럼 - 하나의 주제 게시물과 하나의 답글 게시물 후에 옵션이 표시됨
  • 다이렉트 메시지 - 하나의 주제 게시물 후에 옵션이 표시됨

이와 관련된 문서를 찾아보았지만 찾을 수 없었습니다. 제가 놓친 부분이 있을까요?



요약 기능에 대한 피드백

OMG! 완벽하네요!

우리는 요약 기능이 필요하고, 그것도 지금 당장 필요합니다!

(참조)

해당 요약 주제에 대한 언급은 바로 그 답글 위, 여기에 있습니다.



제안

답글과 조회수가 많은 주제, 특히 토론 관련 주제에 자동으로 요약 답글을 게시하는 것입니다.

물론 언제, 어떤 주제에 대해 적용할 것인지(이는 AI가 선택할 수 있음)를 사용자 정의할 수 있도록 설정이 필요합니다.

또한, 요약 답글을 식별하는 방법을 마련하여 요약 코드가 이전 요약 답글을 입력으로 사용하지 않도록 해야 합니다. 그렇지 않으면 이후의 요약 정보 관련성이 왜곡될 수 있기 때문입니다.


지난 며칠 동안 저는 모더레이터로서 주제를 수동으로 선별하여 Discourse AI 요약을 답글로 추가해 왔습니다. 피드백은 제한적이었지만 긍정적이었습니다.

예시



미친 제안

Discourse 뉴스 사이트 만들기


저는 매일 업데이트를 받기 위해 많은 사이트를 방문합니다. 그 중 일부 사이트는 최신 AI 트렌드에 대한 뉴스 기사를 제공합니다. 그러나 많은 뉴스 기사는 사실상의 한 줄짜리 정보들의 나열일 뿐입니다. 오늘 아침에 읽은 뉴스 기사 하나는 OpenAI Discourse 포럼과 Discord 포럼에서 가져온 것이었습니다. 해당 주제에 대해 요약을 사용해보니, 생성된 결과가 뉴스 기사만큼이나 좋거나 더 좋았습니다.

지금 많은 분들이 Hacker News에 대해 알고 계실 것입니다.

그렇다면 Discourse 사이트들이 콘텐츠 공유에 동의하는 경우, 해당 Discourse 사이트 기반의 뉴스를 가져오는 Discourse 뉴스가 어떨까요? 물론 각 사이트, 사용자, 주제별로 옵트인 옵션이 있어야 하지만,谁知道, The Pile의 새로운 정보원이 될 수도 있고, 적절한 승인을 거친다면 많은 이들에게 이점이 될 수 있습니다.



피드백

이 주제에 대한 요약을 생성했지만 공개적으로 게시하지는 않았습니다.

요약은 이 게시물(5번째) 이후에 생성되었습니다

요약

사용자 jy.genre는 업로드된 이미지를 첨부하여 코드 인터프리터가 오프라인 상태라고 보고했습니다. EricGT는 본인에게는 정상 작동하며 코드가 생성되었다고 답했습니다. 또한 이전에 보지 못했던 유지보수 메시지를 표시하는 Discourse 포럼과 OpenAI 상태 페이지의 이미지를 공유하기도 했습니다. 업데이트된 유지보수 메시지도 공유했습니다. Markanthonykoop도 유지보수 팝업을 확인했으며, 이전에 서비스가 루프되는 현상을 경험했다고 보고했습니다. Magejosh는 새로운 코드 인터프리터 채팅을 열 수 없지만 이전에 열린 채팅에는 파일을 업로드할 수 있다고 확인했습니다. 반복되는 실수가 더 자주 발생하고 지시 사항이 잊히는 것을 목격했지만, 이는 유지보수 때문이라고 추정했습니다. EricGT는 OpenAI 상태 페이지의 또 다른 유지보수 업데이트를 공유했습니다.

두 가지 관찰 사항

  • 이벤트의 시간 순서나 시퀀스가 중요하지만 요약에서 누락되어 있습니다.
  • 이미지 내에 요약에 포함되지 않은 중요한 정보가 많이 있습니다. 이를 추출하기 위해 OCR을 사용할 수 있을 것입니다.

원래 주제는 OpenAI Discourse의 Lounge 카테고리에 있으며, 대부분의 사람들이 접근할 수 없습니다.
Roman과 Falco가 볼 수 있도록 여기에 게시하며, Sam이 이를 전달하는 수고를 덜 수 있도록 하는 것입니다. Sam은 OpenAI에서 요약 관련 업데이트를 꾸준히 공유해 주셔서 정말 잘하고 계십니다.

다시 시작(reboot)하는 아이디어에 동의합니다.

또한, 하나로 병합해야 할 유사한 주제들도 고려해 보세요. 예:

2개의 좋아요

14개의 게시물이 새 주제로 분리되었습니다: AI 요약에 대한 더 많은 언어 지원 추가

다른 LLM을 사용하면서 생성된 캐시된 요약문을 삭제하는 방법이 있을까요? 한 LLM이 이토록 훌륭한 요약문을 만들어 주어서 이후 다른 LLM으로 전환했지만, 포럼 시스템에서 이 오래된 요약문을 어떻게 제거해야 하는지 확신이 서지 않아서 질문드립니다.

현재 직원은 1시간 후에 요약문을 재생성할 수 있습니다. 다른 방법은 Ruby 콘솔을 사용하여 DB에서 특정 캐시된 요약문을 삭제하는 것입니다.

3개의 좋아요

그에 대해 말씀드리자면, 기존 요약 모델은 Discourse에 사용하기에 충분하지 않다고 판단하여 이 기능을 LLM 기반으로 전환했습니다. GPU VRAM이 충분한 서버를 보유하고 계신다면, Llama2 기반의 LLM을 실행하여 #ai-summarization과 #ai-helper에서 뛰어난 결과를 얻을 수 있습니다. 해당 LLM을 실행하는 방법에 대한 기본 지침을 Discourse AI - Self-Hosted Guide에 업데이트했습니다.

3개의 좋아요

이 질문을 할 때마다 짜증이 나지만, “충분한” 수준이 어느 정도인지 힌트를 줄 수 있을까요?

아마도 ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 게이밍 그래픽 카드 (PCIe 4.0, 12GB GDDR6 메모리, HDMI 2.1, DisplayPort 1.4a, 2-Slot, Axial-tech 팬 디자인, 0dB 기술) https://a.co/d/8LSAd8A

1개의 좋아요

위에서 링크한 수정 사항을 살펴보세요. 바로 그 내용이 들어 있습니다!

더 자세한 설명을 드리자면, 양자화(quantization)는 낮은 사양의 하드웨어에서 실행하기 위해 품질과 속도 사이의 트레이드오프를 가능하게 합니다. 가장 좋은 모델을 실행하려면 양자화 없이 약 160GB의 VRAM이 필요합니다. 반면 품질, 속도, 지연 시간 등이 떨어지는 것을 허용한다면 그 양의 5%만으로도 충분합니다.

저는 예시로 든 모델을 96GB VRAM이 barely(거의) 지원되는 기계에서 실행하고 있는데, 여기서 “충분히 좋은” 결과를 얻고 있습니다.

3개의 좋아요

제가 놓치고 있는 것일 수 있으니, 만약 그렇다면 양해 부탁드립니다. 스태프가 새로고침(강제 재생성)을 할 수 있는 옵션이 어디에 있나요?

업(부상)을 해서 죄송하지만, 스태프가 1시간 후 요약문을 재생성하는 방법을 찾을 수 없습니다. 이 1시간 창은 해당 주제에 대한 답글이 작성되었어야 하는지, 이 기능을 액세스하기 위해 수행해야 하는 비공개 UI 조합이 있는지, 아니면 다른 조건이 있는지요?

Anthropic 접근 권한이 있는 AWS Bedrock(AI Chat Bot에 이 옵션이 있음)을 사용하여 Anthropic's claude-2 요약 전략을 사용할 수 있는 방법이 있을까요?

현재 ai_anthropic_api_key가 구성되지 않으면 Anthropic 모델을 선택할 수 없습니다.

1개의 좋아요

네, 필요합니다.

  • ai_anthropic_api_key을 'a’로 설정하세요 (검증을 우회하기 위해)
  • Bedrock 자격 증명을 입력하세요
  • 요약 모델로 claude 2를 선택하세요

UI에서 모델/추론/API를 선택하는 방식을 전면 개편할 계획이 있지만, 그 동안은 이렇게 하시면 됩니다.

4개의 좋아요

피드백.

대부분 요약을 잘 작동하고 있습니다.

게시물의 이미지 링크에 대한 링크가 올바르지 않습니다.

예:

[Foxabilo](/t/-/475167/13; /t/-/475167/24; /t/-/475167/34; /t/-/475167/37)가 공유한 몇 장의 사진 이후로

이것은 언어에 관한 오래된 좋은 질문의 일부입니다… 하지만 왜 어떤 경우에는 요약이 주제 언어를 따르고, 어떤 경우에는 영어를 사용하는지 아는 분이 있을까요? 완전히 무작위로 발생하는 것처럼 보입니다.

그리고 실제 질문은, 우리가 사용할 언어를 제안할 수 있는 시스템 프롬프트가 있는지, 아니면 이것이 summarize 도구에서 나오는 것인지에 관한 것입니다.

1개의 좋아요

현재는 내부적으로 하드코딩되어 있지만, 이 부분에 유연성을 부여할 계획입니다.

사람마다 긴 요약을 선호하는 경우가 있고, 짧은 요약을 선호하는 경우도 있기 때문입니다 … 등등.

4개의 좋아요

이 텍스트가 Gemini도 지원한다고 생각하므로 업데이트가 필요할 수 있습니다.

또한, 설정 UI에 대한 피드백으로, summarization_strategy와 custom summarization allowed groups 설정이 나머지 AI 설정들과 함께 Discourse AI 페이지에 있는 대신 Others 페이지로 이동된 특별한 이유가 있었나요? 이 설정을 찾는 데 시간이 좀 걸렸고, 관련 없는 설정들 사이에서 사라져 보였습니다.

이 기능을 어떻게 켜고 끌 수 있나요? 필요한 게시글 수가 있는 주제에서 요약 버튼을 찾지 못하고 있으며, 오류 로그에도 메시지가 표시되고 있어서 기능을 먼저 꺼서 다시 켜보려고 합니다.

AI 요약 기능을 완전히 비활성화하는 방법은 무엇인가요?

품질이 정말 나쁘고 버튼 자체가 무의미하다고 느껴서 제거하고 싶습니다.

요약 전략 설정으로 활성화한 것과 동일한 방식으로 비활성화할 수 있습니다. 비활성화하려면 기본 사이트 설정 값으로 리셋하면 됩니다.

어떤 모델을 사용 중이신가요? Claude 3 Opus가 이 작업에서 가장 잘 수행된다는 것을 발견했습니다.