FUSSNOTE:
Ich konnte den obigen Test mit GPT4o (128k Kontext) erneut ausführen und habe darauf geachtet, große Token-/Chunk-Einstellungen zu verwenden. Aber für meinen Anwendungsfall mit Whitepaper-Fragen und -Antworten ist er immer noch sehr unzuverlässig (verloren in der Mitte, verloren am Ende usw.). Hier sind meine Einstellungen, falls jemand duplizieren und verfeinern möchte. Ich würde mich freuen, wenn wir die richtigen Einstellungen für diesen Fall finden könnten:
| BENUTZERDEFINIERTE KI-PERSONA | |
|---|---|
| Aktiviert? | Ja |
| Priorität | Ja |
| Chat erlauben | Ja |
| Erwähnungen erlauben | Ja |
| Vision aktiviert | Nein |
| Name | Rag Testing Bot 3 |
| Beschreibung | Test RAG vs. Long Context Prompt Injection |
| Standard-Sprachmodell | GPT-4o-custom |
| Benutzer | Rag_Testing_Bot_bot |
| Aktivierte Befehle | Categories, Read, Summary |
| Erlaubte Gruppen | trust_level_4 |
| System-Prompt | Antworte so umfassend wie möglich aus dem bereitgestellten Kontext der Equatic Carbon Removal Research in der angehängten Datei. Erfinde keine Inhalte. Verwende keine Inhalte außerhalb dieser Sitzung. Konzentriere dich auf die bereitgestellten Inhalte und erstelle Antworten daraus so genau und vollständig wie möglich. |
| Max. Kontext-Posts | 50 |
| Temperatur | 0.1 |
| Top P | 1 |
| Uploads | Equatics-paper1-with-unique-haystack-needles-v116.txt |
| Upload-Chunk-Token | 1024 |
| Upload-Chunk-Überlappungs-Token | 10 |
| Such-Konversations-Chunks | 10 |
| Sprachmodell für Fragenkonsolidierer | GPT-4o-custom |
| BENUTZERDEFINIERTER BOT | |
| Anzuzeigender Name | GPT-4o-custom |
| Modellname | gpt-4o |
| Dienst, der das Modell hostet | OpenAI |
| URL des Dienstes, der das Modell hostet | https://api.openai.com/v1/chat/completions |
| API-Schlüssel des Dienstes, der das Modell hostet | D20230943sdf_fake_Qqxo2exWa91 |
| Tokenizer | OpenAITokenizer |
| Anzahl der Token für den Prompt | 30000 |