토픽 요약 AI 기능을 설정하려는 분들을 위해 작은 팁을 공유하겠습니다. 많은 모델을 시도해 보았는데, 대량 사용 시 비용이 저렴하고 우리 사이트의 언어인 헝가리어를 인식할 수 있는 모델을 찾고 있었습니다. 처음에는 GPT4를 시도했는데, 물론 성능은 뛰어나지만 가격이 비쌌습니다. GPT3.5는 대부분의 경우 요약을 영어로 생성했습니다.
그다음에는 Gemini 1.5 라인업을 시도해 보았는데, Pro 버전도 훌륭하지만 우리에게는 이 또한 너무 비싸게 느껴졌습니다. Flash 버전이 제가 정말 원하던 것이었습니다! 하지만 제 테스트에서 Flash는 요약을 영어로만 생성했습니다.
그 후 Claude 3 라인업을 시도해 보았는데, 제 생각에는 정말 훌륭합니다. 가장 작은 모델인 Haiku는 대부분의 경우, 즉 약 95%의 확률로 우리 포럼의 주요 목표인 헝가리어로 훌륭한 토픽 요약을 생성할 수 있었습니다. Sonnet도 시도해 보았는데, 이 모델이 더 인상적이었습니다. 하지만 지금은 가격 때문에 Haiku를 선택했습니다. Sonnet으로 업그레이드하기 전에 사용 통계를 좀 더 확보하고 싶기 때문입니다. Haiku는 저렴하면서도 충분히 똑똑합니다. 모든 분들께 Haiku를 사용해 보시길 추천합니다.
업데이트: 관련 사항을 다시 계산해 보니, Haiku를 먼저 활성화했을 때 멤버들이 이를 새로운 기능으로 활용하고 있었습니다. 며칠 만에 약 800건의 요약이 생성되었습니다. 이제 더 높은 단계로 넘어갈 수 있습니다. 해당 주제들이 이미 요약되었기 때문에 사용량이 줄어들기 때문입니다. 그래서 며칠간 Sonnet을 사용한 후 Opus를 사용하고 있는데, Opus는 완전히 새로운 차원의 모델입니다. Opus는 이미지를 인식할 수 있고, 주제 게시글에 대한 통계를 만들 수도 있습니다. 예를 들어 어떤 주제에 5,000개의 게시글이 있다고 하면, Opus는 답변들을 분류하고 가장 많이 언급된 항목들을 나열하며 게시글 기반의 제안을 제시할 수 있습니다. 지금까지 사용해 본 모델 중 Opus가 가장 뛰어나다고 생각합니다.
따라서 제 생각에는 가장 저렴한 모델인 Haiku로 시작하여, 사용량이 줄어들면서 Sonnet으로, 그리고 그 이상으로 단계적으로 올라가는 방식이 좋습니다. 모든 모델을 테스트해 볼 수 있는 옵션이 있다는 점이 멋진 부분입니다. 물론 이는 포럼의 사용량에 따라 크게 달라집니다…