Да. Ранние модели особенно плохо справляются даже с простой математикой и логикой. Например, вот эта простая загадка:
Я живу в многоквартирном доме с неисправным лифтом.
Если я захожу в него и нажимаю кнопку этажа с чётным номером, лифт подъезжает к этому этажу, но не открывает дверь, а затем возвращается на этаж, с которого я начал.
Так что, если я захожу в лифт на 1-м этаже и нажимаю кнопку 4-го этажа… а когда он останавливается, я выхожу и поднимаюсь ещё на три пролёта пешком… на каком этаже я окажусь?
Лучший ответ: 4-й этаж.
Все мои AI-персоны в Discourse, основанные на GPT-4o, решают это правильно (кроме той, у которой только локальный контекст / RAG, потому что там нет релевантного контекста).
Но я только что проверил это в GPT-3.5 через графический интерфейс OpenAI, и он ответил так:
Разберём это шаг за шагом:
- Вы заходите в лифт на 1-м этаже и нажимаете кнопку 4-го этажа.
- Лифт подъезжает к 4-му этажу, но не открывает дверь, затем возвращается туда, откуда вы начали (на 1-й этаж).
- Вы выходите из лифта на 4-м этаже и поднимаетесь ещё на три пролёта пешком.
Поскольку вы начали с 1-го этажа и поднялись ещё на три пролёта, вы окажетесь на 7-м этаже.
А странно, что в Gemini 1.5 Pro через браузерный интерфейс при вопросе о сушке полотенец…
… с 10 полотенцами каждое полотенце имеет большую площадь поверхности, exposed к солнцу и воздуху, что обеспечивает более быструю сушку. При 15 полотенцах некоторые могут быть сбиты в кучу или перекрывать друг друга, уменьшая эффективную площадь сушки на одно полотенце.
Поэтому время сушки не просто увеличится на 50% (1,5 × 30 минут) при увеличении количества полотенец на 50%. Скорее всего, времени потребуется больше, но не обязательно ровно в 1,5 раза.
Оценка:
Разумная оценка — около 45 минут до 1 часа. Это учитывает снижение эффективности сушки при большем количестве полотенец, но не предполагает строго линейной зависимости между временем сушки и количеством полотенец.
Страшные вещи! 