몇 가지 주제를 살펴본 후, 다음과 같은 내용을 학습하고 권장합니다.
이 사이트는 Surety 홈 보안 시스템의 지원을 위한 것입니다.
Discourse 포럼에 사용되는 AI의 목표는 (참조)
- 기술 지원 포럼에서 인간 지원 팀을 보완하는 것입니다.
- 과거 포럼 데이터에서 학습해야 합니다.
- 지지를 제공하기 위한 도메인 지식을 갖추어야 합니다.
- 주제에 맞는 질문에만 답변을 시도해야 합니다.
- 봇이 도움이 되지 않는다고 느끼는 경우, 사용자가 봇에게 답변을 중단하라고 지시하여 대신 인간에게 기다릴 수 있는 방법을 제공해야 합니다.
그리고 Ryan의 질문 중 일부는 다음과 같습니다.
- 과거 포럼 데이터로 자동으로 학습하거나 파인 튜닝을 하나요?
- 이미 더 똑똑한 사람들이 수행한 작업을 중복하지 않습니다.
- 봇이 일반적이고 주제 밖의 대화에 참여하지 않도록 봇이 참여할 주제를 제한할 수 있나요?
- 원래의 Discourse Chatbot은 장기적으로 개발 및 유지보수될 예정인가요?
- 아니면 공식 플러그인의 AI 봇으로 최종적으로 대체되거나, 그 안에 통합될 계획인가요?
현재 제가 시도해본 사이트 버전에서 활성화된 Discourse AI 봇에 제공한 게시된 질문과 ChatGPT의 답변입니다.
질문:
IQP4에 PowerG를 하드와이어링했습니다. 유선 센서는 작동합니다. 벨/사이렌 테스트를 해보고 싶었지만 IQP4에서 옵션을 찾을 수 없었습니다. 패널에서 사이렌을 테스트할 수 있었고 IQ Remote와 함께 소리가 났지만, 하드와이어링된 벨은 소리가 나지 않았습니다. 하드와이어링된 사이렌이 소리를 내기 위해 경보를 트리거해야 합니다.
IQP4에서 PowerG에 하드와이어링된 벨을 테스트하는 방법이 있나요?
GPT-4를 사용한 Discourse AI 봇의 답변
문제를 해결하는 데 도움이 될 수 있는 관련 주제를 포럼에서 찾았습니다.
PowerG에 하드와이어링된 유선 벨 테스트? 주제에서, 사용자는 IQP4에서 PowerG에 하드와이어링된 벨을 테스트하는 옵션을 찾을 수 없는 유사한 문제를 겪었습니다.
가능한 해결책을 확인하기 위해 해당 주제를 살펴보세요. 여전히 질문이 있거나 추가 도움이 필요하시면 언제든지 질문해 주세요.
GPT-3.5를 사용한 Discourse AI 봇의 답변
Surety 지원 포럼에서 PowerG 하드와이어링 연결의 유선 벨을 IQ Panel 4(IQP4)와 함께 테스트하는 방법에 대해 논의하는 주제를 찾았습니다. 해당 주제는 여기에서 찾을 수 있습니다.
주제에서 사용자는 IQP4 자체에서 벨/사이렌을 테스트하는 옵션을 찾을 수 없었음을 언급했습니다. 그러나 패널에서 사이렌을 테스트할 수 있었고 IQ Remote와 함께 소리가 났습니다. 반면, 하드와이어링된 벨은 경보가 트리거되지 않는 한 소리가 나지 않았습니다.
추가 정보를 확인하고 다른 사용자가 제공한 해결책이나 제안이 있는지 보려면 주제를 방문하세요.
Discourse AI GPT-4와 GPT-3.5 봇 모두 동일한 주제를 찾았습니다.
ChatGPT를 사용한 답변
IQ Panel 4의 최신 소프트웨어 버전이나 기능에 대한 구체적인 정보는 가지고 있지 않습니다. 제 학습 지식은 2022년 1월까지이기 때문입니다. 그러나 경보 시스템 테스트의 일반 원칙에 기반하여 PowerG에 연결된 하드와이어링 사이렌을 테스트하는 데 도움이 될 수 있는 몇 가지 제안 사항을 드립니다:
-
시스템 테스트 모드:
- 경보 패널에 “시스템 테스트” 또는 “워크 테스트” 모드가 있는지 확인하세요. 이 모드는 실제 경보 이벤트를 트리거하지 않고 센서와 경보를 테스트하도록 설계되어 있습니다. 패널에 이 기능이 있다면, 전체 경보를 설정하지 않고 사이렌을 테스트할 수 있어야 합니다.
-
출력 제어:
- 경보 패널 설정에서 “출력 제어” 또는 “보조 출력” 옵션을 찾아보세요. 이 기능은 테스트 목적으로 사이렌과 같은 출력을 수동으로 트리거할 수 있게 해줄 수 있습니다.
-
존 바이패스:
- 일부 시스템은 테스트 중에 특정 존을 바이패스할 수 있습니다. 하드와이어링된 사이렌이 특정 존과 연관되어 있다면, 테스트를 위해 해당 존을 바이패스할 수 있을 것입니다.
-
사용자 매뉴얼:
- IQ Panel 4와 함께 제공된 사용자 매뉴얼이나 문서를 참조하세요. 경보 시스템의 다양한 구성 요소를 테스트하고 제어하는 방법에 대한 구체적인 지침이 포함되어 있어야 합니다.
-
기술 지원:
- 스스로 해결책을 찾지 못한다면 제조사의 기술 지원에 문의하는 것을 고려해 보세요. 시스템의 특정 기능과 능력에 기반한 지침을 제공할 수 있습니다.
-
패널 소프트웨어 업데이트:
- IQ Panel 4에 사용할 수 있는 소프트웨어 업데이트가 있는지 확인하세요. 제조사는 종종 새로운 기능을 추가하거나 문제를 해결하기 위해 업데이트를 출시하며, 업데이트에 사이렌을 위한 특정 테스트 모드가 포함될 수 있습니다.
실제 경보 이벤트를 우연히 트리거하지 않도록 테스트 시 주의하세요. 어떤 단계에 대해 확신이 없다면, 사용자 매뉴얼을 참조하거나 기술 지원에 문의하는 것이 항상 좋은 아이디어입니다.
분명히 ChatGPT가 더 자세한 답변을 제공하고 있습니다. 가능한 이유에 대해서는 주제 후반부에 자세히 설명하겠습니다.
참고: Merefield의 Discourse AI 플러그인 (카드) (GitHub)에 접근할 수 없습니다. 비교를 위해 동일한 질문에 대한 답변을 여기에 게시하는 것을 보면 좋을 것입니다. 
제 피드백입니다.
이러한 봇의 AI는 LLM에 기반하며, 지식은 학습 세트에 의해 제한됩니다. 봇은 또한 포럼의 주제에 접근하여 지식을 보완하기 위해 RAG(검색 증강 생성)를 사용합니다.
봇은 일반적으로 시스템 프롬프트, 즉 LLM API에 대한 요청이 포함된 사용자 프롬프트가 아닌 페르소나(persona)를 사용합니다.
ChatGPT에게 차이를 설명하게 하겠습니다.
ChatGPT
시스템 프롬프트란 무엇인가요? 사용자 프롬프트와 어떻게 다른가요?
완성(Completion)
시스템 프롬프트와 사용자 프롬프트는 GPT-3.5와 같은 언어 모델 및 대화형 AI 시스템의 맥락에서 자주 사용되는 용어입니다. 두 용어의 차이를 명확히 설명해 드리겠습니다:
-
사용자 프롬프트:
- 사용자 프롬프트는 AI 시스템과의 대화를 시작하거나 정보를 요청하기 위해 인간 사용자가 제공하는 입력입니다.
- 이는 AI 모델과 상호작용하기 위해 사람이 입력하거나 말하는 텍스트나 쿼리입니다.
- 예를 들어, 채팅봇이나 언어 모델을 사용할 때 질문을 하거나 진술을 하는 입력이 사용자 프롬프트가 됩니다.
-
시스템 프롬프트:
- 반면, 시스템 프롬프트는 대화의 컨텍스트를 설정하거나 봇의 행동을 안내하기 위해 AI 모델에 주어진 초기 입력 또는 지시입니다.
- 이는 AI에게 응답 생성을 위한 시작점이나 컨텍스트를 제공하기 위해 사용됩니다.
- 시스템 프롬프트는 AI 응답의 톤, 스타일 또는 내용을 형성하는 데 도움이 되며, 모델의 행동을 안내하는 일종의 지침 역할을 합니다.
- 사용자 프롬프트가 사용자의 쿼리나 진술에 특화된 반면, 시스템 프롬프트는 전체 대화에 대한 일반 컨텍스트나 지침을 제공하는 데 더 초점을 맞춥니다.
GPT-3.5 또는 유사한 언어 모델의 경우, 대화는 일반적으로 시스템 프롬프트로 시작하여 이후 지속적인 교환 과정에서 사용자 프롬프트가 따릅니다. 시스템 프롬프트는 대화 전체에 걸쳐 모델의 응답에 영향을 미치지만, 시스템 프롬프트와 사용자 프롬프트의 조합이 모델의 출력을 결정합니다.
봇이 훨씬 더 구체적인 답변을 제공하지 못하는 이유는 이러한 제품의 사용자 매뉴얼, 설치 지침 등이 지식 기반에 부족하기 때문입니다. 또한 봇은 종종 배선 다이어그램이나 설치 매뉴얼에 사용되는 이미지와 같은 다이어그램을 이러한 문서에서 추출하는 것이 불가능합니다.
시작 단계로, RAG는 문서의 텍스트만이라도 AI의 지식을 가능한 한 많이 확장하는 데 사용되어야 합니다. Discourse AI 봇은 포럼의 모든 주제에 RAG를 사용할 수 있지만, 외부 정보를 추가하는 것이 허용되는지는 알 수 없습니다. 그렇지 않다면, 모든 문서를 PDF로 카테고리(가능한 경우 숨김)에 가져온 다음, 포럼 내에 있으므로 Discourse 코드가 더 쉽게 접근할 수 있도록 하고, Langchain을 사용하여 PDF에 접근하는(참조) 것이 하나의 아이디어일 수 있습니다.
이를 통해 시스템 프롬프트를 조정하여 답변을 개선할 수 있지만, 여전히 추구하는 것에 비해 크게 부족할 것입니다. 여전히 필요한 경우 단계별 지침 없이 정보에 대한 참조가 포함된 첫 번째 답변과 같은 답변을 받을 가능성이 높습니다. 또한 AI가 피드백을 제공한다는 것을 AI가 인식할 수 있는 방식으로 AI 답변에 대한 피드백을 제공할 방법이 없습니다.换句话说, 사용자가 봇에게 무언가가 잘못되었다고 답변하면, 봇은 답변을 읽지만 지식을 업데이트해야 한다는 것을 이해하지 못합니다.
답변의 품질을 개선하기 위해 세 가지 생각이 떠오릅니다.
- HyDE(가설적 문서 임베딩) 활용
Luyu Gao, Xueguang Ma, Jimmy Lin, Jamie Callan의 “Precise Zero-Shot Dense Retrieval without Relevance Labels” (PDF)
실제로 저는 Discourse(참조)에서 HyDE를 알게 되었고, 그들이 이를 사용하고 있음을 알고 있습니다.
-
RLHF(인간 피드백 기반 강화 학습). 두 봇 모두 이 기능이 가능하다고 생각하지 않으며, Discourse가 이를 고려하고 있을 수 있습니다; 공유할 의사가 있다면 그들의 피드백을 듣고 싶습니다.
-
RLHF를 통한 합성 데이터. 이것은 정말 최첨단이며, 어느 봇도 구현할 것이라고 기대하지 않습니다.
LLM을 훈련시키는 가장 입증되고 성공적인 방법 중 하나는 스스로 훈련시키는 것입니다. 그러나 결과가 더 나은지 더 나쁜지를 아는 데 필요한 메트릭이 필요합니다. 여러분의 사이트에서 현재 제가 이해하는 대로 해결책이 더 나은지 나쁜지를 아는 유일한 방법은 AI의 해결책에 인간이 등급을 매기는 것입니다. 더 많은 질문과 해결책의 라운드를 얻기 위해, 질문은 AI에 의해 생성되고, 다른 AI가 해결책을 생성한 후, 해결책이 측정되어 해결책을 생성하는 AI를 개선하는 데 사용됩니다.
봇이 사용자를 도울 능력을 개선하려면, 의사가 진단과 예후를 위해 정보를 수집하는 것과 유사하게 문제를 더 잘 이해하기 위해 일련의 질문을 수행하여 정보를 수집해야 합니다.
또 다른 옵션은 AI 봇으로 접근할 수 있는 유사한 기술, 예를 들어 Microsoft Copilot와 같은 것을 살펴보는 것입니다.
요청하거나 언급하지 않은 가치 있는 항목 중 하나는 소스에 대한 참조입니다. 이것이 중요한 이유는 AI 완성이 환각(hallucination)인지 아닌지를 확인하기 위해서입니다. 참조가 포함되어 있고, 환각이 아닌 실제 참조라면, 매뉴얼과 같은 권위 있는 출처인지 확인하여 환각이 아님을 알 수 있습니다. RAG를 사용하면 참조를 추가하는 것은 쉽게 수행할 수 있으며, 이는 기대되어야 합니다.
이제 구체적인 목표에 대해 다루겠습니다.
기술 지원 포럼에서 인간 지원 팀을 보완합니다.
이것은 질문보다 진술에 가깝기 때문에 질문으로 답변하지 않겠습니다.
과거 포럼 데이터에서 학습해야 합니다.
이것은 실제로 제가 분리한 더 큰 진술의 일부였습니다. 분리한 이유는 포럼의 과거 데이터가 가치 있다는 것이 맞지만, 매뉴얼에 있는 것과 같은 기본 지식도 필요하기 때문입니다. 현재 봇은 포럼 게시물과 RAG를 사용하지만 AFAIK(제 지식 범위 내에서) 외부 데이터에 접근하는 방법을 모릅니다.
주제에 맞는 질문에만 답변을 시도해야 합니다.
이는 시스템 프롬프트를 조정하여 달성할 수 있습니다. 또한 Discourse AI Post Classifier - Automation rule의 일부 기술도 필요합니다.
봇이 도움이 되지 않는다고 느끼는 경우, 사용자가 봇에게 답변을 중단하라고 지시하여 대신 인간에게 기다릴 수 있는 방법을 제공해야 합니다.
이는 시스템 프롬프트를 조정하여 달성할 수 있습니다.
과거 포럼 데이터로 자동으로 학습하거나 파인 튜닝을 하나요?
좋은 질문입니다. 이전에 어떻게 시작해야 하는지에 대해 언급했지만, 실제로는 보이는 것보다 훨씬 더 어려운 질문입니다. 그러나 대규모 LLM 연구자들은 이 부분에 대해 훨씬 더 나은 진전을 이루고 있으며, 다음 몇 달 동안 이를 훨씬 더 쉽게 만들 수 있는 흥미로운 발표가 있을 수 있습니다.
이미 더 똑똑한 사람들이 수행한 작업을 중복하지 않습니다.
이를 LLM이 아는 것에 대해 딴죽을 걸지 말아야 한다는 의미로 해석하겠습니다. 이는 모델이 새로운 지식에 대해 어떻게 훈련되는지에 따라 달라집니다. 모델을 더 나쁘게 만들 수도 있고, 모델이 학습을 잊는 것은 더 어렵습니다. AFAIK Discourse AI 봇 중 어느 것도 학습, 즉 LLM의 가중치를 변경하는 능력이 없지만, 주제 게시물과 RAG를 사용할 능력은 있습니다. 따라서 나쁜 주제 게시물, 쓰레기 입력은 쓰레기 출력을 만들 수 있습니다.
봇이 일반적이고 주제 밖의 대화에 참여하지 않도록 봇이 참여할 주제를 제한할 수 있나요?
이는 Discourse AI Post Classifier - Automation rule과 유사합니다.
원래의 Discourse Chatbot은 장기적으로 개발 및 유지보수될 예정인가요?
이것은 Discourse 직원에게 맡기겠습니다.
아니면 공식 플러그인의 AI 봇으로 최종적으로 대체되거나, 그 안에 통합될 계획인가요?
이것도 Discourse 직원에게 맡기겠습니다.
