Какие настройки вы рекомендуете изменить или увеличить, чтобы сократить время отклика? Предположим, речь идёт только об одном диалоге, а не о десятках одновременных сессий. Помимо сокращения промпта/RAG, похоже, что Thinking Effort — единственная настройка, действительно влияющая на скорость обработки отдельного диалога.
Для контекста: у меня есть агент на базе GPT Sol 6.1, загруженный нашей документацией по продукту, статьями базы знаний и некоторыми вопросами и ответами с «подвохами».
Я только сейчас обратил внимание на настройку субагента. Интересно, можно ли использовать её для разделения версий/компонентов продукта и оптимизации работы RAG?