# 针对长上下文LLMs的提示注入作为RAG的替代方案？

**URL:** <https://meta.discourse.org/t/prompt-injection-for-long-context-llms-as-an-alternative-to-rag/309086>\
**Category:** Support\
**Tags:** ai, ai-bot\
**Created:** [2024 年5 月 22 日 22:47 UTC](https://meta.discourse.org/t/prompt-injection-for-long-context-llms-as-an-alternative-to-rag/309086 "2024-05-22T22:47:33Z")\
**Posts on this page:** 1\
**Showing post:** 9

<div class="post-metadata">

**Author:** ![StevePlex](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/steveplex/32/269106_2.png) [@StevePlex](https://meta.discourse.org/u/StevePlex)\
**Post date:** [2024 年5 月 24 日 21:02 UTC](https://meta.discourse.org/t/prompt-injection-for-long-context-llms-as-an-alternative-to-rag/309086/9 "2024-05-24T21:02:18Z")

</div>

脚注：

我能够使用 GPT4o（128k 上下文）重新运行上述测试，并确保使用大型令牌/块设置。但对于我的白皮书问答用例来说，它仍然非常不稳定（中间丢失、末尾丢失等）。如果有人想复制和改进，以下是我的设置。如果我们能为这个用例找到合适的设置，我将非常高兴：

|自定义AI角色||  
|—|—||  
|||  
|启用？|是|  
|优先级|是|  
|允许聊天|是|  
|允许提及|是|  
|视觉启用|否||  
|||  
|名称|Rag 测试机器人 3|  
|描述|测试 RAG 与长上下文提示注入|  
|默认语言模型|GPT-4o-custom|  
|用户| Rag\_Testing\_Bot\_bot|  
|已启用命令|Categories, Read, Summary|  
|允许的组|trust\_level\_4||  
|||  
|系统提示|根据 Equatic 碳移除研究提供的上下文，尽可能全面地回答。不要编造内容。不要使用此会话外部的内容。尽可能准确、完整地根据提供的内容创建答案。|  
|||  
|最大上下文帖子数|50|  
|温度|0.1|  
|Top P|1||  
|||  
| ||  
|上传| Equatics-paper1-with-unique-haystack-needles-v116.txt|  
|||  
|上传块令牌数|1024|  
|上传块重叠令牌数|10|  
|搜索对话块数|10|  
|用于问题整合器的语言模型|GPT-4o-custom||  
|||  
| **自定义机器人** ||  
|||  
|显示名称|GPT-4o-custom||  
|||  
|模型名称|gpt-4o||  
|||  
|托管模型的服务|OpenAI|  
|托管模型的服务 URL|[https://api.openai.com/v1/chat/completions|](https://api.openai.com/v1/chat/completions%7C)  
|托管模型的服务 API 密钥|D20230943sdf\_fake\_Qqxo2exWa91||  
|||  
|分词器|OpenAITokenizer|  
|提示的令牌数|30000|

---

_[View the full topic](https://meta.discourse.org/t/prompt-injection-for-long-context-llms-as-an-alternative-to-rag/309086)._