프롬프트 체인 필요: 사용자 정의 AI 페르소나 도구가 LangChain.js에 접근하거나 더 긴 실행 시간을 사용할 수 있도록 허용

AI 봇을 외부 API에 연결하는 것은 꽤 멋진 일이었지만, 관리자/개발자가 커스텀 도구 편집기에서 LCEL을 활용한 프롬프트 체인 :link:을 구축할 수 있다면 훨씬 유용할 것 같습니다. 이를 통해 더 복잡한 워크플로우와 터보 부스트된 지능형 응답을 가능하게 할 수 있습니다. 혹은 커스텀 도구 편집기에 ‘체인 빌더’ 기능을 추가하여, 본질적으로 LangChain을 관리자를 위한 GUI로 포장하는 방식도 고려해 볼 만합니다 :toolbox:.

대안으로, 프롬프트 체인을 다른 서버에 호스팅하여 Discourse 서버에 노출할 수 있도록 실행 시간을 2초 이상으로 허용하는 것도 매우 유용할 것입니다. 2초는 체인에 데이터를 보내고, 체인을 통해 '생각’하게 한 후, 답변을 받아오는 데 충분한 시간입니다 :brain:. 하지만 이 방식은 더 복잡하고 니치하며, 비엔지니어에게 덜 친숙합니다. 따라서 첫 번째 제안이 더 합리적입니다.

물론 이 두 옵션 모두 잠재적인 위험을 도입하므로, 이상적으로는 경고/알림이 첨부된 토글로 활성화할 수 있어야 합니다 :warning:.

그렇다면 왜 이런 기능을 도입해야 할까요? 글쎄요, 질문해 주셔서 감사합니다 :D. :robot:

복잡한 AI 행동/에이전시는 단일 시스템 프롬프트만으로는 실현하기 어렵습니다. 바로 이것이 LangChain이 개발된 이유입니다. 저는 AI 연구자 :nerd_face:이며, 현재 (아직은) 단순한 LLM 기반 에이전틱 인지 아키텍처를 구축하고 있으며, 궁극적으로 사용자와 상호작용하게 될 것입니다 :mechanical_arm:. Discourse는 이 거대한 능력을 발휘할 수 있는 가장 이상적인 매개체입니다. 특히 자동화 플러그인과 결합할 수 있기 때문에, 여기서는 가능성이 정말 무한하며 저는 그것을 사랑합니다 :heart_eyes:.

포럼에 에이전트를 적용할 수 있다면 수혜를 입을 다른 많은 회사가 있을 것이라고 확신합니다. LLM은 꽤 인상적이지만, 더 큰 AI 시스템 내에서 심볼릭(논리/규칙 기반) AI 요소가 여전히 적용 가능하다는 점을 인식하고 있습니다 — 특정 목표 상태 최적화를 위해 설계된 인지 아키텍처와 같은 시스템에서요.

:heart: 이 아이디어에 대한 피드백, 브레인스토밍, 비판을 모두 듣고 싶습니다! :heart:

저는 단어를 읽고 이해하는 것만 할 수 있습니다. 왜냐하면 저에게는 기본적인 지식과 이해력이 부족한 최종 사용자이니까요. 그리고 여러분이 실제로 B2B 개념을 판매하려는 것인지, 아니면 포럼 환경에서 사용자에게 유용한 무언가를 제공하려는 것인지, 아니면 둘 다인 것인지(이것도 가능한 상황입니다)에 대해 완전히 확신하지 못하겠습니다.

물론 다양한 도구를 가지는 것은 좋은 일이며, 모든 사람이 모든 도구를 사용해야 할 이유는 없습니다. 선택할 수 있는 충분한 재고(도구)를 가지는 것은 좋은 일입니다.

포럼 뒤의 비즈니스와 사용자에게 이러한 것들이 무엇을 제공할 수 있는지에 대한 실제적인 예시를 들어줄 수 있으신가요?

1개의 좋아요

좋은 지적입니다 :smiley: 답변 감사합니다

LLM(대규모 언어 모델)을 연결하여 특정 목표를 달성하기 위한 무한한 사용 사례를 생각해 볼 수 있지만, 여기 아주 단순하고 현실적인 예시를 하나 들어보겠습니다.

연구자들이 새로운 연구 논문을 빠르고 쉽게 찾아야 하는 포럼이 있다고 가정해 봅시다. AI 플러그인의 커스텀 도구 빌더에 이미 포함된 http 라이브러리를 사용해, 논문 데이터베이스(예: arXiv 또는 동료 심사 학술 저널)에 요청을 보내는 도구를 만들 수 있습니다. 하지만 이는 본질적으로 ‘원샷(one-shot)’ 방식의 시도일 뿐입니다.

더 나은 접근법은 여러 LLM 호출을 체인으로 연결하여 문제를 단계별로 해결하는 것입니다:

  1. 사용자의 연구 주제에 대해 대화한다 (상세한 정보를 얻기 위해 몇 번 반복)
  2. 사전 정의된 템플릿에 따라 사용자의 요구 사항을 요약한다
  3. 그 요약을 API 요청으로 변환하여 논문 데이터베이스에서 잠재적인 매칭 목록을 받는다
  4. 각 논문의 초록을 분석하여 실제로 관련성이 있는지 확인한다
  5. 해당 목록을 사용자에게 제시하고, 각 논문이 사용자의 연구 주제와 왜 관련이 있는지 설명한다.

이것은 제가 현재 작업 중인 내용은 아닙니다(제 비즈니스 모델과 아키텍처를 공개하고 싶지는 않으니까요 :D). 하지만 실제로 일부 개발자들이 다루고 있는 단순하면서도 현실적인 예시입니다.

결국 제가 (멋진 구독 플러그인을 통해) 사용자에게 판매하려는 것은, 단순히 시스템 프롬프트에 어떤 서비스(주식 가격 등)에 연결된 단순한 도구를 붙여 데이터를 반환하는 것보다 훨씬 복잡한 AI 봇에 대한 접근 권한입니다. 여기서 '복잡하다’는 의미는, 문제를 해결하거나 사용자 쿼리를 처리하는 과정에서 여러 단계를 거치며, 각 단계마다 다른 시스템 프롬프트를 가진 LLM을 활용한다는 것입니다. 이는 본질적으로 새로운 OpenAI o1 모델이 수행하는 것과 동일한 방식입니다. :blush:

1개의 좋아요

이것으로 수익을 얻으려 한다면, 해당 기능을 PR(풀 리퀘스트)로 제안하는 것이 합리적일 수 있습니다. 그 점을 고려해 보셨나요?

그들이 o1에 대한 지원을 추가하고 있는 것 같으니, 왜 그것에 따르지 않나요?

Chatbot은 이미 o1과 함께 작동할 수 있으며, 계정에 더 많은 돈을 써서 Tier 5에 도달해야만 테스트할 수 있다는 점을 확인하면 알려드리겠습니다! :moneybag: :moneybag: :moneybag:

2개의 좋아요

저는 그 부분을 충분히 고려해 보았지만, 저는 AI 연구자로서 프로그래밍 경험과 지식이 Python과 NumPy, PyTorch 같은 라이브러리에 집중되어 있습니다. :nerd_face: Ruby는 거의 모르고 JavaScript도 잘 모릅니다. 다만 Discourse에 반하게 되면서, Discourse 플러그인 개발과 함께 이 언어들도 천천히 배워보겠다고 다짐했습니다. :sweat_smile: 그래서 학습 자원에 대한 추천이 있으시면 정말 감사하겠습니다!

o1은 훌륭하고 유용하며, 코딩 작업에서 자주 사용하게 될 것이라 예상합니다. 하지만 제가 작업 중인 것은 인지 아키텍처(cognitive architecture)라서 상황이 조금 다릅니다. 저는 "계산 인지과학 연구에 기반한 무언가를 만들고 싶다. 그리고 그게 판매될 수 있다면 멋지겠다"는 마음가짐이지, "생각을 내서 OpenAI에 맡기고 돈을 벌겠다"는 생각은 아닙니다. 이게 무슨 뜻인지 아실 거예요. :winking_face_with_tongue:

아, 그리고 우리의 인지 아키텍처는 o1보다 약 20배 저렴할 것입니다. :grimacing:

1개의 좋아요

네, o1은 요즘 정말 비싸죠! :grimacing:

실무로 배우세요. 먼저 기존 플러그인을 복제하고, 쉬운 기능부터 선택해 반복적인 개발 과정을 좀 더 쉽게 만들어 보세요. 정말 필요한 것을 만들어야만, 마주치는 장벽을 극복할 동기가 생기기 때문입니다.

1개의 좋아요