Верный аргумент, безусловно. На мой взгляд, простого ответа нет.
Думаю, всё зависит от конкретного случая использования.
RAG хорошо работает для некоторых приложений, но для других, более детерминированных задач (например, ответы на вопросы клиентов, платежи, медицина и т. д.) я и другие сталкивались с проблемами в получении высокой точности при поиске векторов RAG в течение прошлого года. То есть бот либо упускает информацию, либо выдумывает её (низкий полнот и низкая точность в терминах информационного поиска), что хорошо задокументировано Стэнфордом, Google и другими.
Возникает вопрос: зачем бросать в LLM кучу фрагментов, если можно предоставить ей весь корпус? По крайней мере, при внедрении контекста, когда LML неточна, у вас меньше параметров для настройки.
Хорошо, это не сработает для обширных библиотек документов или кода, но для небольших и средних баз контента это пока работает отлично… Я работаю над проектом, который формально тестирует это! Скоро будет больше информации… Спасибо.
PS. Чтобы сделать ещё интереснее: у меня были хорошие результаты с внедрением контекста + дообучением, и появляются новые подходы, сочетающие RAG и внедрение контекста! И так далее.
Также смотрите:
https://pub.towardsai.net/why-rag-applications-fail-in-production-a-technical-deep-dive-15cc976af52c