네. 이전 모델들은 심지어 간단한 수학이나 단순한 논리에서도 특히 부진합니다. 예를 들어, 이 간단한 퍼즐을 보면:
나는 엘리베이터가 고장 난 아파트에 살고 있습니다.
짝수 번호인 층의 버튼을 누르면 엘리베이터는 그 층으로 올라가지만, 문은 열리지 않고 다시 내가 출발한 곳으로 돌아갑니다.
만약 1층에서 엘리베이터에 올라타 4층 버튼을 누르고, 엘리베이터가 멈추면 내리고 나서 계단으로 3층을 더 올라간다면, 결국 몇 층에 도달하게 될까요?
정답: 4층
제 Discourse AI 페르소나 중 gpt4o 기반 모델들은 이 문제를 모두 정확히 풀었습니다. (로컬/RAG 컨텍스트만 가진 페르소나는 관련 컨텍스트가 없어서 제외하구요.)
하지만 방금 OpenAI GUI에서 gpt 3.5로 이 문제를 돌려봤더니 다음과 같이 답했습니다.
단계별로 나눠서 살펴보겠습니다:
- 1층에서 엘리베이터에 올라타 4층 버튼을 누릅니다.
- 엘리베이터는 4층까지 올라가지만 문이 열리지 않고, 다시 출발한 곳(1층)으로 돌아갑니다.
- 4층에서 엘리베이터에서 내려 계단으로 3층을 더 올라갑니다.
1층에서 시작해서 계단으로 3층을 더 올라갔으므로, 결국 7층에 도달하게 됩니다.
그리고 묘하게도… 브라우저 GUI에서 Gemini 1.5 Pro를 사용해 수건 건조에 대해 물어보니…
… 10개의 수건이라면, 각 수건에 더 많은 표면적이 햇빛과 공기 중에 노출되어 더 빨리 마를 수 있습니다. 15개의 수건이라면, 일부 수건이 뭉치거나 겹쳐서 수건당 실제 건조 표면적이 줄어들 수 있습니다.
따라서 50% 더 많은 수건(30분의 1.5배)을 말리는 데 단순히 50% 더 많은 시간이 걸리는 것은 아닙니다. 더 많은 시간이 걸리긴 하겠지만, 정확히 1.5배는 아닐 가능성이 큽니다.
추정:
합리적인 추정치는 약 45분에서 1시간 정도입니다. 이는 수건이 많아지면 건조 효율이 낮아진다는 점을 고려하되, 건조 시간과 수건 수 사이의 완벽한 선형 관계를 가정하지 않기 때문입니다.
… 무서운 일이죠! : )