봇을 직접 사용해 보고 있는데, 이미 훌륭합니다. 의미론적 검색(semantic search)을 활성화할 수 있는 음성(voice)을 추가할 수 있을까요? 지금까지의 실험 결과, 이 기능을 사용하면 특히 우리 사이트에서 봇이 훨씬 더 똑똑해집니다. 현재 봇이 찾고 요약하거나 답변하는 데 사용하는 결과들과 비교해 보면, 의미론적 검색을 사용했을 때의 결과가 훨씬 더 좋습니다.
관련해서, / 명령을 사용할 때 의미론적 검색을 기본값으로 설정하는 것도 가능한가요? 역시 대부분의 사용자가 이 결과를 선호할 것이라고 생각합니다. 우리는 지식 베이스(knowledge base) 유형의 게시물이 많는데, 이러한 게시물들은 사람들이 실제로 말하거나 검색할 때 사용하는 키워드를 항상 사용하지는 않지만 의미론적으로 관련이 있는 경우가 많습니다. 이 때문에 전통적인 검색을 사용하면 사람들이 비공식적으로 문제를 논의하는 저품질 게시물들이 검색되어, 사용자의 질문에 대한 공식적인 답변이 되지 않는 경우가 많습니다.
프롬프트 튜닝이 우리에게 유용할 것 같다는 점을 충분히 이해하고 있습니다. 다만 최근 다른 프로젝트에서 아마추어 수준의 '프롬프트 엔지니어링’을 해본 경험상, 프롬프트에 익숙하지 않은 사용자들을 위해서는 상당한 안내와 많은 예시가 필요할 것 같습니다. 또한 UI에는 ‘수다스럽고 재미있는’, ‘중립적이고 정확한’, '학구적이고 지적인’과 같은 예시나 기본 선택지를 제공하여, 페르소나(역할 설정)의 문구 변화가 응답에 어떻게 영향을 미치는지 보여줄 수 있다면 좋을 것 같습니다.
모델 고유의 무작위성 때문에 프롬프트 문구 변경의 효과를 측정하는 것이 꽤 어렵다는 점도 발견했습니다. 또한 그 효과는 프롬프트의 주제에 따라 달라질 수 있습니다. 표준화된 사용자 입력 테스트 스위트를 개발하여, 페르소나나 지시사항의 변경이 봇 출력에 어떤 영향을 미칠지 미리 시뮬레이션해 볼 수 있다면 좋겠습니다. 이 기능은 여러분 팀에도 유용할 것 같습니다… 다만 테스트 세트가 커지면, 많은 시간을 들이지 않고 어떻게 평가할 것인지라는 문제가 생길 수 있습니다.
사용자들이 자주 조정하고 싶어 할 것 같은 또 다른 차원은 LLM이 프롬프트에 제공된 출처 자료를 얼마나 엄격하게 따르는지입니다. 제 테스트 결과, 모델이 컨텍스트 외부의 지식을 가져오지 않도록 지시할 때는 매우 명시적(그리고 반복적)이어야 하며, 잘못된 답변보다는 답변이 없는 것이 낫다는 점을 명확히(추가 지시사항으로) 해야 합니다. 또한 모델이 ‘추론 과정을 보여줄’ 정도와 출처를 인용하거나 예시를 들 정도도 조절할 수 있는데, 컨텍스트에 실제 답변이나 관련 자료가 없을 때 환각(hallucination)이나 엉터리 응답을 피하는 좋은 방법이라고 생각합니다.
마지막으로 한 가지 더 말씀드리자면, 여러분이 비용과 토큰 절약을 우려하고 있는 것을 볼 수 있습니다. 매우 대규모 사이트라면 그럴 수 있겠지만, 규모가 작거나 금융적 가치가 높은 애플리케이션(예: 고객 지원)의 경우 실제로는 큰 문제가 되지 않을 것이며, 이런 비용은 시간이 지나면 더 낮아질 것입니다. 응답을 건전성 검사하는 분리된 분류기(classifier)나 사용자 정의 '가드레일(guard rails)'을 구현하기 위한 추가 쿼리 비용은 우리에게는 분명히 가치가 있을 것입니다. 예를 들어, '이 답변에 이 출처들에서 찾을 수 없는 정보가 포함되어 있습니까?'와 같은 프롬프트는 진단에 꽤 유용했으며, 사용자에게 정보를 제공하기 전에 실행하는 것이 분명히 가치가 있었습니다. 메인 작업이 GPT-4로 실행되더라도, 이 종류의 작업에는 GPT-3.5가 충분히 적합합니다.