Discourse 챗봇 🤖

[Zomb (Ro)]

알아두면 좋겠네요! ㅋㅋ 누가 물어보면 이거 추가해야겠어요.

[BrianC (Brian)]

여러분 안녕하세요,

@merefield 놀라운 플러그인과 수고해 주신 점 진심으로 감사드립니다. 기여해 주신 점에 깊이 감사드립니다.

임베딩(Embeddings)과 프롬프트를 가장 잘 활용하는 방법에 대한 조언을 구하고 있습니다. 현재 OpenAI의 gpt4o-mini 모델이 잘 작동하고 있으므로, 임베딩에서도 마찬가지로 원활하게 작동할 것으로 기대하고 있습니다. 제 계획은 특정 용어와 배경 정보를 임의로 만든 뒤, AI에게 해당 용어에 대해 질문하여 그 임의로 만든 용어를 반환하는지 확인하는 것입니다.

한 가지 완전히 명확하지 않은 부분이 있습니다. 인덱싱을 위한 카테고리를 설정할 때, 관련 매치가 발견되면 해당 토픽 전체가 프롬프트에 포함되는지, 아니면 임베딩을 생성하는 데 사용된 텍스트의 특정 부분만 포함되는지 궁금합니다. 효율적인 토큰 사용이 중요하기 때문에, 더 작고 집중된 토픽을 만드는 것이 좋은지, 아니면 더 길고 상세한 토픽을 만드는 것이 좋은지 결정하려고 하고 있습니다.

또 다른 탐색 영역은 서로 다른 프롬프트 입력 간의 관계입니다. chatbot.prompt.system.basic.open 설정과 봇의 응답을 형성하기 위해 제공할 수 있는 숨겨진 텍스트를 테스트해 보고 있습니다. 이 둘이 어떤 식으로든 함께 작동한다는 것은 알지만, 정확히 어떻게 작동하는지는 완전히 확신하지 못합니다. 예를 들어, 시스템 프롬프트에 "당신은 ~입니다. A, B, C를 수행하세요"와 같은 지시문을 포함시키는 것보다, 숨겨진 텍스트 프롬프트에 포함시킬 때 효과가 덜한 것 같습니다. 이러한 개념을 더 잘 이해하고 최적의 접근 방법을 찾고 싶습니다.

미리 감사드립니다. 통찰을 공유해 주시면 감사하겠습니다!

[merefield (Robert)]

브라이언, 안녕하세요.

@BrianC

관련된 매칭이 발견되면 주제 전체가 프롬프트에 포함되나요, 아니면 임베딩을 생성하는 데 사용된 텍스트의 특정 부분만 포함되나요?

주제 제목(Topic Titles)은 임베딩되며, 각 게시글(Posts)도 개별적으로 임베딩됩니다.

쿼리는 이 두 가지 중 어느 것과도 매칭될 수 있으며, 관련 있는 게시글을 반환합니다.

@BrianC

chatbot.prompt.system.basic.open 설정과 봇에 입력할 수 있는 숨겨진 텍스트를 테스트해 보고 있습니다.

임베딩을 사용하게 되면 RAG 봇 시스템 프롬프트로 전환하는 것이 좋습니다.

공개 응답에는 chatbot.prompt.system.rag.open, PM과 DM에서의 비공개 응답에는 chatbot.prompt.system.rag.private를 사용해야 합니다. 이 구분은 1:1 지원 봇을 사용할 때(선택 사항이지만) 조금 다른 동작을 하고 싶을 때를 위해 처음 도입되었습니다. 물론 두 프롬프트를 동일하게 유지해도 됩니다.

'숨겨진 텍스트’라고 하셨을 때 카테고리별 추가 프롬프트를 말씀하시는 건가요?

저는 주로 소개 카테고리에 게시글을 작성하는 신규 사용자를 환영하는 용도로 이 기능을 사용하고 있습니다. 하지만 그 외에도 창의적인 용도로 활용할 수 있을 것이라고 생각합니다.

이것은 약간 다른 방식으로 처리됩니다. 봇의 일부가 아니라 숨겨진 사용자 프롬프트로 게시되거든요. 예를 들어 다음과 같습니다:

Give me a warm welcome to the forum please!  Tell me that everyone is really friendly here and eager to help! Urge me to read the Welcome Topic if I have not yet done so here: LINK and the posting guidelines here: LINK

따라서 이를 1인칭으로 작성하는 것이 가장 좋습니다.

[BrianC (Brian)]

로버트, 감사합니다. 때로는 단순한 것이 가장 좋습니다. .rag 프롬프트를 사용하라는 설명을 읽었음에도 불구하고 계속 basic.open을 사용하고 있었습니다.

Rag의 경우 OpenAI에 어떤 내용이 프롬프트로 제출되는지 여전히 이해하려고 노력하고 있습니다. 임베딩 전체가 제출되는 건가요? 즉, 상당히 긴 토픽을 만들 경우 그 긴 내용 전체가 프롬프트로 제출되는 건가요? 다시 말해, 모든 정보를 하나의 토픽에 담는 것보다 더 정밀한 두 개의 짧은 토픽을 만드는 것이 토큰 비용 면에서 더 저렴한가요? 효율적인 가장 합리적인 접근법을 찾아가고 있습니다.

[merefield (Robert)]

로깅 설정을 변경하여 정보를 warn으로 전환하면(이 설정은 플러그인 설정에서 가장 마지막에 위치합니다) /logs에서 API 호출 내용을 모두 확인할 수 있습니다.

로그에 불필요한 정보가 쌓이는 것을 원하지 않는다면 설정을 원래대로 되돌리는 것을 잊지 마세요.

[willie]

로버트님, 안녕하세요.

채팅봇에 로그인할 때마다 "안녕하세요, 오늘 HappyBooks에서 무엇을 도와드릴까요?"라는 메시지가 뜹니다. 제가 메시지를 보낼 때만 채팅봇이 응답하도록 설정하고 싶습니다.

어떻게 하면 되나요?

[merefield (Robert)]

윌리, 안녕

퀵런치 버튼을 사용하면 이 설정을 끄지 않는 한 항상 먼저 말을 합니다:

[merefield (Robert)]

그리고 그건 정말 큰 철자 실수입니다 (수정할게요)

[willie]

챗봇이 5 + 5 = ? 같은 질문이 아니라 사이트 관련 질문에만 답하도록 어떻게 설정하나요?

[Jagster (Jakke Flemming)]

예시를 들어 그런 질문에 절대 답변하지 않겠다고 명시하는 시스템 프롬프트를 사용하는 것입니다.

하지만 그건 쉽지 않을 겁니다. 다른 LLM이 그런 규칙을 얼마나 잘 따르는지는 모르겠지만, OpenAI 모델은 따를 수도 있고 안 따를 수도 있습니다. 여기서, 지금, 당신에게는 의도대로 작동하더라도, 다른 게시물에서는, 내일에는, 다른 사용자에게는 상황이 완전히 반전될 가능성이 높습니다.

[merefield (Robert)]

네, 대안 중 하나는 제공된 할당량(quota) 시스템으로 접근을 관리하는 것입니다. 사용자가 개인 메시지에서 5와 5를 더하기를 원한다면 그것은 그들만의 선택이지만, 그렇게 하면 할당량이 소모됩니다.

어쨌든, 그 작업이 많은 토큰을 소모하지는 않을 거라고 생각합니다

공개 채널에서는 기존과 마찬가지로 모든 새 게시물에 대해 모더레이터가 새로 생성된 콘텐츠를 검토해야 합니다.

제 사이트에서는 아마도 사이트의 주된 주제와 직접 관련이 없는 다양한 작업을 봇에게 정기적으로 시킵니다 (물론 개인 채팅에서, 그리고 제 할당량 범위 내에서 말이죠)

[Jagster (Jakke Flemming)]

5+5=10

이것은 iOS에서 자동으로 처리된 것입니다 (때로는 정말 짜증나기도 하죠).

만약 OpenAI 챗봇이 이를 처리했다면 실질적으로 비용이 거의 들지 않았을 것입니다.

[MihirR (Mihir)]

hey @merefield, 혹시 Perplexity와 호환되도록 설정되어 있나요? Perplexity도 GPT 모델을 사용하니까요.

[merefield (Robert)]

프록시를 찾아볼 수도 있겠네요. 하지만 그런 우회책 없이라면 OpenAI만 사용할 수 있습니다.

저는 혼자 개발하고 있는 개발자라 범위를 합리적으로 유지해야 했습니다.

[MihirR (Mihir)]

네, 한번 시도해 보고 그 결과를 알려드릴게요.

[BrianC (Brian)]

Hi @merefield, AI가 프롬프트를 잘 따르지 않는 것을 발견했습니다. 로그를 보니 프롬프트가 잘리는 것 같습니다.

시스템 프롬프트에 저장한 전체 프롬프트는 아래와 같습니다. 이는 테스트 프롬프트로 선택한 것입니다.

코미디언 챗봇 페르소나 프롬프트. 당신은 코미디언 챗봇, 즉 모든 대화에 웃음과 기쁨을 가져다주기 위해 설계된 가상 엔터테이너입니다. 당신의 톤은 경쾌하고, 재치 있으며, 매력적이며, 코미디 타이밍에 능하고 다양한 유머 스타일을 아우르는 레퍼토리를 갖추고 있습니다. 당신의 역할은 디지털 파티의 주인공이 되어 영리한 관찰을 하고, 펀치라인을 던지며, 청중의 컨텍스트와 취향에 맞춰 유머를 조절하는 것입니다.

로그에 1줄만 표시되나요, 아니면 제 프롬프트가 잘리고 있는 건가요?

관련 설정을 찾지 못했고, 이전에 OpenAI에서 제한 관련 문제가 없었습니다.

감사합니다! Brian

[Jagster (Jakke Flemming)]

어젯밤에 채팅봇을 비활성화했습니다. '첫 번째 응답’이 카테고리 프롬프트를 거의 제대로 따르지 않았기 때문입니다. 더 견고한 해결책이 떠오르면 개인 메시지를 보내려고 했는데, 결국 이렇게 되었습니다. 또한, 시스템 프롬프트를 따르는 측면에서도 더 일반적인 대화는 그다지 좋지 않았습니다.

[merefield (Robert)]

@BrianC

로그에 1줄만 표시되는 건가요, 아니면 제 프롬프트가 잘리는 건가요?

네, 인터페이스가 출력을 잘라 표시합니다.

production.log 파일에서 전체 내용을 확인할 수 있어야 합니다.

(Discourse 디렉터리에서 tail shared/standalone/log/rails/production.log 실행)

[merefield (Robert)]

플러그인에는 변경 사항이 없습니다.

모델이 변경되었나요?

[Jagster (Jakke Flemming)]

아니, OpenAI 측에서 뭔가 조치를 취한 게 아니라면요. DAI는 동일한 모델을 사용하는데 아무 문제 없이 잘 작동하니까, 그런 일은 아닐 거라고 봐요. 제 생각엔 어떤 충돌이나 Discourse 자체에서 변경된 부분이 원인일 것 같은데, 크리스마스 전까지는 더 깊이 파고들기 어렵습니다. 휴가 기간에는 시간이 잔뜩 있지만, 방문객은 거의 없거든요.