Как ускорить время ответа агента?

Какие настройки вы рекомендуете изменить или увеличить, чтобы сократить время отклика? Предположим, речь идёт только об одном диалоге, а не о десятках одновременных сессий. Помимо сокращения промпта/RAG, похоже, что Thinking Effort — единственная настройка, действительно влияющая на скорость обработки отдельного диалога.

Для контекста: у меня есть агент на базе GPT Sol 6.1, загруженный нашей документацией по продукту, статьями базы знаний и некоторыми вопросами и ответами с «подвохами».

Я только сейчас обратил внимание на настройку субагента. Интересно, можно ли использовать её для разделения версий/компонентов продукта и оптимизации работы RAG?

  1. Интенсивность рассуждений
    Модель Sol в режиме low очень эффективна; я широко использую её для множества задач, поэтому рекомендую попробовать этот вариант в первую очередь.

  2. Уровень сервиса
    Discourse также поддерживает уровень сервиса priority, который аналогичен «режиму Fast» и обеспечивает ускорение в 2,5 раза. При необходимости ещё большего ускорения мы можем добавить опцию ultrafast.

  3. Кэширование запросов
    Переносите все динамические части промпта как можно дальше в конец текста, чтобы увеличить объём кэшируемых данных и сократить время префилла.

  4. Эксперименты с соотношением RAG + инструменты и жёстко заданного промпта
    В зависимости от размера вашей базы знаний иногда использование очень большого промпта оказывается быстрее и дешевле, чем динамическая подгрузка знаний.

  5. Более быстрые инструменты
    Если вы, как и мы на ask.discourse.com, активно используете собственные инструменты для динамического обеспечения контекстом, то оптимизация их для мгновенного отклика принесёт значительную пользу.

  6. Более компактные модели
    В зависимости от вашего сценария использования переход на модель Luna может сократить разрыв в скорости при приемлемом качестве.

Спасибо! Обязательно попробую всё это.

Есть ли какие-нибудь мысли по поводу эффективности субагентов в этом случае? Это действительно помогло бы мне оптимизировать RAG и убрать лишнее.

Это определённо может помочь, но с точки зрения трудозатрат и будущего обслуживания это самый сложный вариант, так что я бы обратился к нему только в том случае, если после изучения лёгких способов проблема всё ещё кажется мне нерешённой.