エージェントの応答速度を上げるには?

応答時間を短縮するために、調整または増加すべき設定はありますか?数十件の会話が同時に進行しているのではなく、単一の会話についてのみ話しているものと仮定してください。 プロンプトやRAGを削減すること以外では、個々の会話のタイミングに実際に影響を与える設定は Thinking Effort(思考負荷)だけのように見えます。

背景として、私はGPT Sol 6.1を搭載し、弊社の製品ドキュメント、ナレッジベース記事、および一部の「落とし穴」に関する質問と回答を読み込ませたエージェントを持っています。

ちょうどサブエージェントの設定に気づきました。これを使用して、一部の製品バージョンやコンポーネントを分割し、RAGを合理化できるかどうか気になっています。

  1. 推論努力量
    Solを低設定で使用しても非常に高い性能を発揮します。私は多くのタスクでこれを広く利用しているため、まずこれを試してみてください。

  2. サービスティア
    Discourseではpriorityというサービスティアもサポートされています。これは「高速モード」と同等で、処理速度が2.5倍になります。さらに高速にしたい場合は、ultrafastオプションを追加することも可能です。

  3. プロンプトキャッシュ
    プロンプトの動的な部分をできるだけ後方に配置することで、キャッシュ可能な範囲を広げ、プリフィル時間を短縮できます。

  4. RAG+ツールとハードコードされたプロンプトのトレードオフの実験
    ナレッジベースの規模によっては、非常に大きなプロンプトを使用する方が、知識の動的な読み込みよりも迅速かつ低コストになる場合があります。

  5. ツールの高速化
    私たちがask.discourse.comで行っているように、動的な情報源への対応のためにカスタムツールを多用している場合、それらが即座に応答するように最適化することは非常に有益です。

  6. 小規模なモデル
    ユースケースにもよりますが、Lunaに切り替えることで、許容可能な品質を維持しつつ、速度の差を縮めることができます。

ありがとうございます!ぜひすべて試してみます。

この場合におけるサブエージェントの有効性について、何かご意見はありますか?RAGの無駄を削ぎ落とすのに、とても役立つと思います。

確かに効果はありますが、労力や今後の保守管理という点では最も難しい選択肢でもあります。まずは手っ取り早い対策を試して、それでも納得いく結果にならない場合にのみ、これを選択するのがおすすめです。