# 長文脈LLMにおけるプロンプトインジェクションはRAGの代替となりうるか？ **URL:** \ **Category:** Support\ **Tags:** ai, ai-bot\ **Created:** [2024 年 5 月 22 日午後 10:47 UTC](https://meta.discourse.org/t/prompt-injection-for-long-context-llms-as-an-alternative-to-rag/309086 "2024-05-22T22:47:33Z")\ **Posts on this page:** 1\ **Showing post:** 1
**Author:** ![StevePlex](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/steveplex/32/269106_2.png) [@StevePlex](https://meta.discourse.org/u/StevePlex)\ **Post date:** [2024 年 5 月 22 日午後 10:47 UTC](https://meta.discourse.org/t/prompt-injection-for-long-context-llms-as-an-alternative-to-rag/309086/1 "2024-05-22T22:47:33Z")
システムプロンプトを介して、Discourse AI ペルソナボットセッションのコンテキストに中規模のドキュメント（例：最大100KB）を注入することは可能でしょうか？ ユースケース AWSインスタンス上のLlama3-8bのようなプライベートLLMにリンクされたカスタムAIペルソナ。コストはトークンごとではなく時間ごとにかかります。つまり、リクエスト/レスポンスのトークン数やパフォーマンスは問題ではなく、サーバーにはかなりのCUDAパワーがあります。つまり、RAGはオプションになる可能性がありますか？ （代替ユースケース：Gemini.1.5 LLM、API呼び出しに料金がかからない場合） 目標 パイプラインのコンポーネントを減らし、類似性検索を回避することで精度を向上させる。 実験 システムプロンプトに約20kトークンのテキストドキュメントが挿入されたGemini 1.5 Proを使用した非公式AIペルソナテスト。 ![image](https://global.discourse-cdn.com/meta/original/4X/3/c/4/3c4220903808d5224ac79ce66682bd474aede7c5.png) その論文にしか答えがないとわかっているいくつかの質問をしました。すべて正しく答えました。したがって、プロンプトから20kトークンを読み取り、各質問のためにそれらを解析したと仮定していますか？ セッションとコンテキストのコンテンツがそれほど大きくない場合、このアプローチに欠点はありますか？ よろしくお願いします。 ![image](https://global.discourse-cdn.com/meta/original/4X/8/f/4/8f47384eb52bb06d2977989d8f4b4fbafec77ef5.png) * * * ![image](https://global.discourse-cdn.com/meta/original/4X/3/a/c/3acab2721ec5da7223ca5d86572227e355ec1601.png) * * * 脚注 - セッション中にプロンプトからコンテキストを削除する セッション中にプロンプト注入コンテンツを削除して質問を続けたところ、Geminiは質問に正しく答え続けましたが、数回の質問の後、コンテキストを見つけられなくなり失敗しました。ある程度予想されていたように、Gemini 1.5はセッション内の複数の会話のターンにわたってコンテキストを保持できますが、無期限ではありません。 すべての考え、コメント、ガイダンスを歓迎します！ --- _[View the full topic](https://meta.discourse.org/t/prompt-injection-for-long-context-llms-as-an-alternative-to-rag/309086)._