注記:
上記テストをGPT4o(128kコンテキスト)で再実行できましたが、ホワイトペーパーのQ/Aユースケースでは、トークン/チャンク設定を大きくしても、まだ非常に不安定でした(中間で失われる、末尾で失われるなど)。再現して改善したい方がいれば、私の設定を以下に示します。このケースに最適な設定が見つかれば幸いです。
| カスタムAIペルソナ | |
|---|---|
| 有効? | はい |
| 優先度 | はい |
| チャット許可 | はい |
| メンション許可 | はい |
| ビジョン有効 | いいえ |
| 名前 | Rag Testing Bot 3 |
| 説明 | RAG vs Long Contextプロンプトインジェクションをテストする |
| デフォルト言語モデル | GPT-4o-custom |
| ユーザー | Rag_Testing_Bot_bot |
| 有効なコマンド | Categories, Read, Summary |
| 許可されるグループ | trust_level_4 |
| システムプロンプト | 添付ファイルにあるEquatic Carbon Removal Researchの提供されたコンテキストから、可能な限り包括的に回答してください。内容を創作しないでください。このセッションの外部の内容を使用しないでください。提供された内容に焦点を当て、可能な限り正確かつ完全にそこから回答を作成してください。 |
| 最大コンテキスト投稿数 | 50 |
| 温度 | 0.1 |
| Top P | 1 |
| アップロード | Equatics-paper1-with-unique-haystack-needles-v116.txt |
| アップロードチャンクトークン | 1024 |
| アップロードチャンクオーバーラップトークン | 10 |
| 会話チャンク検索 | 10 |
| 質問コンソリデーター用言語モデル | GPT-4o-custom |
| カスタムボット | |
| 表示名 | GPT-4o-custom |
| モデル名 | gpt-4o |
| モデルをホストするサービス | OpenAI |
| モデルをホストするサービスのURL | https://api.openai.com/v1/chat/completions |
| モデルをホストするサービスのAPIキー | D20230943sdf_fake_Qqxo2exWa91 |
| トークナイザー | OpenAITokenizer |
| プロンプトのトークン数 | 30000 |