# LLM과 고객 지원에 미치는 영향
**URL:** https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181
**Category:** Community Building
**Created:** [3월 30, 2023, 8:36오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181 "2023-03-30T20:36:46Z")
**Posts on this page:** 18
**Page:** 1
### Author:  [@twofoursixeight](https://meta.discourse.org/u/twofoursixeight)
#### Post date: [3월 30, 2023, 8:36오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/1 "2023-03-30T20:36:46Z")
AI 모델이 발전하면서 포럼의 도움 및 지원 티켓은 AI 기반으로 운영될 것입니다. Midjourney는 예술 분야를 위한 도구로, 예술 작업에서 수동적인 과정을 생략해 줍니다. 포럼의 재미를 위한 섹션은 크게 변하지 않을 것입니다. 즐거움을 추구하는 상황에서는 AI가 필요하지 않기 때문입니다. 또한 AI는 코딩도 할 수 있어 컴포넌트 제작이 더 쉬워집니다.
---
### Author:  [@MikeNolan](https://meta.discourse.org/u/MikeNolan)
#### Post date: [3월 30, 2023, 8:52오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/2 "2023-03-30T20:52:27Z")
도와서 지원에 관한 포럼에서는 이미 한동안 자동화 프로세스를 사용해 왔습니다. ChatGPT와 같은 ‘진짜’ AI 도구를 사용하는 것이 개선이 될지는 두고 볼 일인데, 제가 본 바로는 ChatGPT는 기술적인 질문에 대해 자주 틀린 답변을 내는 경향이 있습니다.
---
### Author:  [@simon](https://meta.discourse.org/u/simon)
#### Post date: [3월 30, 2023, 10:00오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/3 "2023-03-30T22:00:34Z")
저는 수년간 고객 지원 업무를 해왔기 때문에 이 문제에 대해 깊이 생각해 보았습니다. 여러 가지 이유로, 고품질 고객 지원 서비스에서는 고객이 인간 상담원과 쉽게 소통할 수 있어야 한다고 생각합니다. 다만, 고객의 지원 문의에 대한 첫 번째 답변 수단으로 AI 기반 검색을 허용하는 것에는 상당한 이유가 있습니다.
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [3월 30, 2023, 11:51오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/4 "2023-03-30T23:51:07Z")
몇 가지 중점적으로 고려해야 할 점은, 이러한 도구들이 향후 몇 년간 고객 지원을 변화시킬 것이라는 사실입니다.
“그건 내 스타일이 아니다”, "100% 인간 중심이 좋다"라고 말하는 것은 매우 쉽습니다.
하지만 우리가 도달하게 될 두 가지 중간 단계는 훨씬 더 복잡하고 미묘한 문제를 안고 있습니다.
1. AI 기반 트리아지: 고객이 지원을 기다릴 필요 없이 즉시 해결할 수 있는 1차 단순 질문에 AI를 활용하는 방식입니다.
2. 지원 엔지니어의 생산성을 높이는 AI 기반 도구: AI가 21%를 작성하고 인간이 감독하는 방식이 독이 되는 우물(trust violation)이며 신뢰 위반이라고 할 수 있을까요? 저는 그렇게 생각하지 않습니다… 여기에는 미묘한 차이가 있습니다.
---
### Author:  [@MikeNolan](https://meta.discourse.org/u/MikeNolan)
#### Post date: [3월 31, 2023, 12:03오전 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/5 "2023-03-31T00:03:51Z")
1차 지원팀보다 내가 제품에 대해 더 잘 아는 경우가 얼마나 많은지 생각해보면, AI가 상황을 더 악화시킬 일은 거의 없을 것이다. 음성 인식/음성 소프트웨어를 사용하면 오히려 대화를 나누기가 더 쉬울 수도 있지만, Alexa나 Siri와 대화를 나누는 것이 때로는 답답할 수 있다.
어떤 주요 소프트웨어 회사에서 2차 또는 3차 지원으로 승격된 티켓이 너무 많아서 결국 1차 지원 그룹을 건너뛰는 방법을 제공받았다.
---
### Author:  [@Heliosurge](https://meta.discourse.org/u/Heliosurge)
#### Post date: [3월 31, 2023, 5:42오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/6 "2023-03-31T17:42:24Z")
> **[I made ChatGPT talk to itself - and the results weren’t what I expected](https://www.techradar.com/features/i-made-chatgpt-talk-to-itself-and-the-results-werent-what-i-expected)**
>
> One man's quest to turn an AI insane
---
### Author:  [@simon](https://meta.discourse.org/u/simon)
#### Post date: [3월 31, 2023, 8:10오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/7 "2023-03-31T20:10:25Z")
> [@MikeNolan](#):
>
> 제가 1차 지원 팀보다 제품에 대해 더 잘 알고 있다는 점을 고려하면, AI가 상황을 더 악화시킬 가능성은 거의 없으며, 음성 인식/음성 소프트웨어를 사용하면 오히려 대화가 더 쉬울 수도 있습니다.
대규모 사회적 변화를 수반하는 모든 것에 대해 "상황을 더 악화시킬 가능성은 거의 없다"는 식의 논증에 대해 저는 신중합니다. 악화될 수 없는 복잡한 문제는 거의 없습니다. 원하는 결과로 점진적으로 나아가는 것이 더 합리적인 접근법인 것 같습니다.
이 주제에 관심을 갖는 이유는 제가 고객 지원 대리로 근무해 봤기 때문입니다. 전 세계적으로 비슷한 직업을 가진 수백만 명과 유대감을 느낍니다. AI의 영향을 받을 것으로 예상되는 직업 목록에서 '고객 지원 대리’가 상위에 있는 것을 보면 우려스럽습니다. 또한 소수자 집단 출신의 사람들이 고객 지원 인력에서 상당한 비중을 차지하고 있다는 점도 주목할 만합니다.
> [@MikeNolan](#):
>
> 한 주요 소프트웨어 회사에서 제가 2차 또는 3차 지원으로 승격된 티켓이 너무 많아서, 결국 1차 지원 그룹을 우회할 수 있는 방법을 제공받았습니다.
그것은 구조가 잘 갖춰지지 않은 지원 시스템처럼 들립니다. 1차 지원 그룹이 반드시 사용자의 문제를 해결할 수 있어야 하는 것은 아닙니다. 그들이 해야 할 일은 사용자의 문제를 이해하고 공감하며, 그 문제가 해결되도록 동기부여를 제공하는 것입니다.
Discourse는 고객 지원 시스템에 AI가 어떻게 통합되는지에 있어 리더가 될 위치에 있습니다. 저는 이에 대해 크게 기여할 것은 없지만, 고객 지원 업무에서 인간의 이해, 공감, 동기가 갖는 역할을 강조해 보고자 합니다. LLM은 이러한 속성을 어느 정도 모방할 수 있지만, 제 관점에서는 이것이 해당 기술을 사용하는 적절한 방식이 아닙니다.
고객의 관점에서 보면, 샘 올트먼의 말을 대략 인용하자면(기억에 의존하여), "누구도 컴퓨터에게 얕보는 듯한 태도를 취당하고 싶어 하지 않는다"입니다.\*\* LLM 지원 에이전트가 인간의 관심을 모방하려는 시도는 고객들의 좌절감을 유발하게 될 것입니다.
이것은 LLM이 포럼에 어떤 영향을 미칠 것인가라는 원래 질문에서 벗어나고 있습니다. AI를 활용해 Discourse 기반 고객 지원 시스템을 어떻게 향상시킬 수 있을지에 대한 논의가 계속된다면, 별도의 주제로 이동하는 것이 적절할 것입니다.
\*\* 수정: 더 생각해보니, 샘 올트먼의 인용은 "누구도 기계에게 꾸지람을 듣고 싶어 하지 않는다"에 더 가까웠을 것 같습니다. 이 수정을 한 저의 행동 자체가 인간의 동기가 종종 교정적 기능을 수행하는 방식의 예시임을 주목해 주세요.
---
### Author:  [@MikeNolan](https://meta.discourse.org/u/MikeNolan)
#### Post date: [3월 31, 2023, 11:48오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/8 "2023-03-31T23:48:58Z")
누구든 '전원은 꽂아 놓으셨나요?'라는 질문을 받는 것을 좋아하지 않지만, 저는 그 말을 많이 들어 왔습니다.
저 역시 헬프데스크에서 수많은 시간을 보냈습니다. 하지만 우리는 사용자보다 더 많은 것을 안다는 것이 자부심이었으며, 헬프데스크 감독관과 다른 직원들로부터 정기적으로 시험을 받아 최신 정보를 잘 파악하고 있는지 확인받았습니다. 하지만 첫 단계는 항상 사용자가 무엇을 하려는지와 사용자가 그에 대해 얼마나 알고 있는지를 파악하는 것이었습니다.
헬프데스크 직원은 많은 지원 대화의 처음 몇 분을 모방하는 Eliza 프로그램을 작성했습니다.
그 소프트웨어 회사가 저에게 3단계 지원으로 직접 연결되는 파이프라인을 제공했을 때 저는 불평하지 않았고, 3단계 팀도 불평하지 않았습니다. 사실, 몇몇 개발자(4단계)는 저에게 직접 전화번호를 주었고, 가끔은 저에게 전화를 걸기도 했습니다!
---
### Author:  [@pfaffman](https://meta.discourse.org/u/pfaffman)
#### Post date: [4월 1, 2023, 4:40오전 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/9 "2023-04-01T04:40:11Z")
> [@MikeNolan](#):
>
> 누구도 ‘확실히 꽂혀 있나요?’라는 질문을 좋아하지 않지만, 저는 그 말을 많이 들어왔습니다.
그들이 그 질문으로 시작하지 않으면, 아예 해결책을 찾지 못할까 봐 걱정됩니다.
짜증나는 점은, 그들이 스스로도 이해하지 못하는 스크립트를 읽거나, 해결책으로 휴대폰의 운영체제(OS) 전체 재설치를 빠르게 제안하는 경우입니다.
---
### Author:  [@P2W](https://meta.discourse.org/u/P2W)
#### Post date: [4월 9, 2023, 3:53오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/10 "2023-04-09T15:53:36Z")
> [@sam](#):
>
> “음, 나랑 안 맞는구나”라고 말하는 것은 매우 쉽습니다. 저는 100% 인간이 필요합니다.
디스코urse를 만지작거리지 않을 때, 저는 지원 기능에서 대규모 팀을 이끌고 있습니다. 현실은 이러한 모델들이 결국 인간보다 더 신뢰할 수 있게 될 것이라는 점입니다 - 항상 온라인 상태이며, 어디서나 언제든지 사용 가능합니다. 인간과의 상호작용에 대한 수요는 항상 있을 것이라고 믿지만, 저는 LLM의 향후 몇 번의 반복 개발이 AI가 뉘앙스와 감정을 식별하고 그에 따라 응답할 수 있다는 것을 매우 명확하게 보여줄 것이라고 생각합니다. AI 응답이 더 예측 가능할 것이므로, 인간보다 더 효과적일 수도 있습니다.
물론 제 추측이지만, 5년 후에는 콜센터/풀 서비스 전략이 훨씬 다른 모습이 될 것이라고 꽤 확신합니다.
---
### Author:  [@twofoursixeight](https://meta.discourse.org/u/twofoursixeight)
#### Post date: [4월 9, 2023, 4:07오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/11 "2023-04-09T16:07:37Z")
> [@P2W](#):
>
> - 저는 그렇게 믿습니다. 하지만 다음 몇 번의 LLM 반복 개발을 거치면 AI가 뉘앙스와 감정을 식별하고 이에 맞게 응답할 수 있다는 것이 분명해질 것입니다. AI의 응답이 더 예측 가능하기 때문에 인간보다 더 효과적일 수도 있습니다.
이는 AI 모델이 더 발전하게 되면(우리는 이미 **GPT-4** 를 가지고 있습니다), 답변의 주체가 될 것이라는 뜻인가요? 이는 인간이 답변을 위해 하는 일을 줄일 수 있습니다. 정확도도 중요합니다. 오류가 없는지 두 번 확인하세요.
---
### Author:  [@P2W](https://meta.discourse.org/u/P2W)
#### Post date: [4월 9, 2023, 4:08오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/12 "2023-04-09T16:08:52Z")
> [@twofoursixeight](#):
>
> 이것은 AI 모델이 더 발전하면 (우리는 **GPT-4** 를 가지고 있습니다) 답변의 주된 출처가 된다는 뜻인가요? 그러면 인간이 답변을 위해 하는 일이 줄어들 수 있겠네요. 정확도도 중요하니, 오류가 없는지 두 번 확인해 주세요.
100% 맞습니다. '될 것인가’가 아니라 '언제 될 것인가’의 문제입니다.
---
### Author:  [@MikeNolan](https://meta.discourse.org/u/MikeNolan)
#### Post date: [4월 9, 2023, 5:18오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/13 "2023-04-09T17:18:45Z")
검색 엔진이 이미 답을 얻는 주된 통로가 되었다고 주장할 수 있다. 사실상 백과사전 산업이 거의 사라진 셈이다.
ChatGPT가 탑재된 검색 엔진(이 표현 자체가 약간 중복일 수 있지만)은 궁극적으로 인간과의 대화 상대와 구별하기 어려울 수 있다.
---
### Author:  [@merefield](https://meta.discourse.org/u/merefield)
#### Post date: [7월 24, 2024, 1:07오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/14 "2024-07-24T13:07:18Z")
내 클라이언트가 방금 [Chatbot](https://meta.discourse.org/t/discourse-chatbot/256652)을 사용하여 사이트를 공개했습니다.
> [@기술 지원 포럼용 지원 봇 선택 조언 (Discourse AI vs Discourse Chatbot)](https://meta.discourse.org/t/advice-on-a-support-bot-for-a-technical-support-forum-discourse-ai-vs-discourse-chatbot/286349/50?u=merefield):
>
> It took longer than expected but we finally have our support chatbot live, albeit in “beta testing mode”. Thanks to everyone who offered advice along the way! And special thanks to @merefield for writing the Chatbot plugin! If you’d like to try it, here’s how.
---
### Author:  [@37Rb](https://meta.discourse.org/u/37Rb)
#### Post date: [7월 24, 2024, 4:33오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/15 "2024-07-24T16:33:09Z")
현재 gpt-4o를 지원 팀의 보조 수단으로 활용하고 있습니다. 주요 장점은 다음과 같습니다.
- 포럼과 마찬가지로 24시간 연중무휴(야간 및 주말 포함)로 이용 가능
- 인간 지원 팀보다 응답이 즉각적
- 포럼 검색으로 해결하지 못했던 질문에 답변할 수 있을 가능성
사실 기술적인 질문에 대해 가끔 오류를 범하기도 합니다. 이를 최소화하는 것이 가장 큰 과제였습니다. 챗봇이 대화를 인간 지원 팀으로 에스컬레이션할 수 있는 기능은 매우 중요합니다. 현재 이 기능은 채팅의 약 50% 미만에서 작동하고 있습니다. 시스템이 더 오래 운영되고 더 많은 피드백이 쌓인 후에 진행 상황에 대해 더 자세한 보고서를 작성할 예정입니다.
---
### Author:  [@Jagster](https://meta.discourse.org/u/Jagster)
#### Post date: [7월 24, 2024, 5:04오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/16 "2024-07-24T17:04:46Z")
> [@37Rb](#):
>
> 채팅의 50% 미만
산업 평균이 대략 어느 정도일지 맞혀 볼 수 있을까요? 정말 높게 들리거든요. 반면, 제 인생의 어느 시점에 아일랜드 코크에 있는 한 글로벌 타임셰어 회사에서 일한 적이 있는데, 가이드가 미국이나 영국 고객에게 원하는 것을 제공하지 못하면 거의 모든 통화가 에스컬레이션된다는 느낌을 받았어요. 그와 비교하면 절반만 그런 결과는 놀라운 성과라고 할 수 있죠.
---
### Author:  [@37Rb](https://meta.discourse.org/u/37Rb)
#### Post date: [7월 24, 2024, 6:49오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/17 "2024-07-24T18:49:56Z")
평균치는 정확히 알지 못하지만, 지원 대상에 따라 달라질 것이라고 확신합니다.
우리의 경우, 일부 지원 질문은 챗봇으로 처리할 수 없습니다. 특정 조치가 필요하기 때문입니다. 예를 들어, 계정 변경이 필요하거나 장비를 반납해야 하는 경우(환불 및/또는 승인 필요)에는 봇이 이를 수행할 수 없습니다.
또한 기술 지원의 복잡성에도 따라 달라집니다. 일부 질문은 매우 단순합니다. 사용자가 포럼에서 적절한 용어로 검색했다면 답을 찾았을 것입니다. 하지만 일부 사용자는 질문을 하고 답을 받는 것을 선호합니다. 이 경우 봇은 포럼을 검색하고 답을 찾아 제시하는 데 꽤 잘합니다. 그러나 문제가 조사나 다변수 분석을 필요로 할 경우, 봇은 대개 큰 가치를 더해주지 않는 일반적인 답변을 제공합니다.
우리는 이를 예상하고 있었습니다. 지식 베이스 구축과 프롬프트 개선은 지속적인 작업입니다. 또한 LLM과 플러그인도 지속적으로 개선될 것으로 기대합니다.
---
### Author:  [@Jagster](https://meta.discourse.org/u/Jagster)
#### Post date: [7월 24, 2024, 6:52오후 UTC](https://meta.discourse.org/t/llms-and-the-impact-on-customer-support/260181/18 "2024-07-24T18:52:15Z")
어쨌든, 다른 지원 채널을 통해 문의하는 모든 두 번째 요청은 상당한 압박을 줄 수 있습니다.