Discourse 공간에서 관련으로 과거에 관여하거나 관심을 가져왔던 터라, 이 내용을 잠시 살펴봤습니다.
웹 기반 ChatGPT에 대한 API 호출 인증은 현재 꽤 복잡하고(예를 들어 웹 브라우저를 모방하도록 강제하는 등) 번거로우며, 일부 임시 오픈소스 API 래퍼 솔루션은 이후 보안이 강화되면서 실패로 끝났습니다.
현재로서는 그들이 공식 웹사이트 API 호출의 역공학(reverse engineering)을 어렵게 만들려는 시도를 적극적으로 하고 있을 것으로 추정됩니다. 따라서 이러한 복잡성과 서비스 약관 위반의 위험을 피하기 위해, 완전한 대화 기능을 갖춘 공식 ChatGPT API가 반드시 나올 것이므로 이를 기다리는 것이 가치가 있을 것입니다. OpenAI의 Discourse( )를 살펴보면, 다른 사용자들도 비슷한 생각을 하고 있는 것 같습니다.
@philip_rhoades 또는 여기 계신 다른 분들 — GPT-3를 사용한 Discourse 봇을 구현해 보셨나요?
저는 커뮤니티 활동을 초기화(bootstrap)하기 위한 봇을 구상하고 있습니다. 이 봇들은 방문객이나 다른 봇들이 작성한 댓글에 대해 서로 다른 스타일로 응답하도록 설정할 수 있어야 합니다. 입력값으로는 메인 포럼 토픽, 해당 스레드의 주제, 그리고 첫 번째 게시글을 사용합니다. 봇은 API를 사용하여 텍스트를 생성하고, 다른 봇들의 응답과 충분히 차별화되도록 보장해야 합니다. 각 봇은 원본 게시글의 서로 다른 측면을 논의하게 됩니다. 그 후에는 인간들의 토론이 이어지도록 합니다. 만약 한 스레드에 일주일 동안 아무도 응답하지 않는다면, 봇이 이전 게시글 중 하나에 다시 답변함으로써 해당 스레드를 되살릴 수 있습니다.
봇들은 외부 기사에 링크를 걸지는 못하지만, 이 기능은 곧 추가될 예정이며, 이를 위해 별도의 프로세스를 사용할 수 있습니다.
윤리적으로, 모든 봇은 GPT-3 기반의 봇임을 명시하는 프로필이 필요합니다.
이를 위해 Discourse 플러그인을 작성할 관심이 있는 분이 계신가요? 저는 우리 회사에서 이 비용을 지불할 의향이 있습니다. AI의 경우, 남용될까 봐 오픈소스로 공개하기를 꺼리는 분야 중 하나입니다(물론 다른 사람이 구현해서 오픈소스로 공개하는 것은 비교적 쉬운 일입니다).
cron을 사용하여 게시글을 작성하는 합성 계정(synthetic accounts) 생성을 지원하는 Discourse 플러그인이 있나요? 어떻게 작동하나요?
맞아요, 사실 저는 ChatGPT조차 원하지 않습니다. GPT-3만 있으면 됩니다. 제가 제안한 내용과 관련하여 서비스 약관에 위반되는 부분이 있을까요… 인터랙티브한 방식이 아니라 각 봇이 며칠에 한 번씩 게시글을 올리는 방식입니다. 봇들이 우리 포럼에만 있고 프로필에 명확히 표시되어 있으므로, 이는 ‘아스트로터핑’이 아닙니다:
잠깐, 평소처럼 글을 쓰기 시작하니까 문득 깨달은 게 있어요! 이번 경우에는 다른 포럼 운영자들이 코드를 복사하거나 재판매하는 걸 원치 않으니까, discourse에서 계정을 만들고 프로필을 채운 후, 그 계정으로 주기적으로 게시글을 올리는 폐쇄 소스 서비스를 개발하면 되잖아요! discourse에는 같은 IP 주소에서 모두 온다는 이유로 그림자 밴(shadow ban)을 방지하기 위해 특정 계정을 화이트리스트에 등록할 수 있는 기능이 있나요?
이것은 추천이 아닙니다. GPT(Generative Pre-trained Transformer)의 T에 해당하는 트랜스포머와 관련된, 한번쯤 살펴볼 가치가 있는 사이트를 언급하는 것입니다.
저는 신경망, 트랜스포머, GPT의 개념은 이해하고 있지만, 높은 비용 때문에 이를 추가로 학습시킬 자원은 개인적으로 부족합니다. 다만 꾸준히 동향을 파악하고 있습니다. 또한 제가 생각하기에 트랜스포머의 약점[1]에 대해서도 인지하고 있습니다. 이를 좋아하지 않는다는 의미는 아니며, 제 필요에 맞춰 바로 사용할 수 있는 수준은 아직 아니라고 느끼고 있을 뿐입니다.
[1] Dr. Vaughan Pratt의 1994년 Cyc를 평가하기 위한 질문들을 ChatGPT에게 물어본 사례 (참고)
이 튜토리얼에서는 웹사이트(이 예제에서는 OpenAI 웹사이트)를 크롤링하고, 임베딩 API를 사용하여 크롤링한 페이지를 임베딩으로 변환한 후, 사용자가 임베딩된 정보에 대해 질문할 수 있는 기본 검색 기능을 만드는 간단한 예를 다룹니다. 이는 사용자 정의 지식 베이스를 활용하는 더 정교한 애플리케이션을 위한 출발점이 될 수 있도록 설계되었습니다.
Supabase(오픈 소스)를 기반으로 구축되어 전체 웹사이트 컨텍스트를 활용할 수 있는 GPT 봇의 훌륭한 구현 예입니다:
Discourse와 Supabase가 이 분야에서 잘 어울릴 것 같습니다. 위 비디오의 접근 방식을 사용하여 포럼 임베딩을 수행하고, 이를 기반으로 사용자 백킹을 생성하는 플러그인이 있다면 정말 훌륭할 것입니다.
저도 분명히 관심이 있습니다. 하지만 불행히도, 오픈 소스 공간에 있지 않으면 시간과 노력을 낭비할 것이라고 생각합니다. 가장 잘 유지 관리되는 플러그인은 결국 오픈 소스인 쪽이 될 테니까요. 그리고 폐쇄 소스 버전을 생성하여 사용하면 유지 관리 부담에 시달리게 될 것입니다.
두 분 모두 재정적으로 참여할 의향이 있다면, 저는 이를 현실로 만들 수 있는 위치에 있습니다. 원하신다면 꽤 빨리 진행할 수도 있습니다. 하지만 Apache-2.0 라이선스 하에서 진행되어야 합니다.
이러한 플러그인이 공식 플러그인으로 기능할 수 있다면 Discourse 회사에도 큰 도움이 될 것이라고 추정합니다. 이것이 Discourse 회사가 관심 있을 만한 사항인가요?
이 프로젝트의 제작을 지원하기 위해 제가 거주하는 지역의 정부로부터 매칭 펀딩 보조금을 받을 수 있을 것 같습니다. 재정적으로 참여할 의향이 있으시다면 알려주세요. 호스팅 인프라 운영을 맡을 것이며, 플러그인 제작 초기에 재정적으로 기여하신 분들에게는 포럼을 인덱싱하고 Discourse에 지능형 GPT 봇을 생성하는 무결성 호스팅 솔루션에 대해 상당한 할인 혜택을 드릴 수 있습니다.
@SimonBiggs 이 문제에 대해 조금 더 생각해 보니, 단순히 외부의 폐쇄형 서비스를 만들어 Discourse 포럼 가입 초대장을 받고, 프로필을 설정한 뒤 API를 통해 사용자로 참여하는 방식이 더 나은 접근법일 수 있다는 생각이 들었습니다. 프로필은 현실적으로 보이지만, 설명 부분에 봇임을 명확히 표시할 예정입니다.
봇이 수행할 작업은 파악했지만, 반드시 Discourse 플러그인일 필요는 없습니다. 주기적으로 크론(cron)으로 실행되어 Discourse API를 통해 댓글과 답글을 게시하기만 하면 됩니다. 어떻게 생각하시나요?
이러한 기능에 대한 사용 사례에 몇 가지 아이디어가 있습니다. 이는 원본 글의 주제에서 벗어난 내용이지만, GPT3 유사한 봇 통합에 관심 있는 사람들이 모이는 곳이기도 합니다. 새로운 주제(공개 또는 비공개)를 시작한다면, 커뮤니티의 아이디어를 한곳에 모을 수 있는 단일 장소를 만들 수 있을 것입니다.