NOTE DE BAS DE PAGE :
J’ai pu relancer le test ci-dessus avec GPT4o (contexte de 128k), en veillant à utiliser des paramètres de jetons / morceaux importants. Mais c’est toujours très instable pour mon cas d’utilisation de questions/réponses pour livre blanc (perdu au milieu, perdu à la fin, etc.). Voici mes paramètres si quelqu’un souhaite reproduire et affiner. J’adorerais que nous trouvions les bons paramètres pour ce cas :
|PERSONNALITÉ IA PERSONNALISÉE|
|—|—|
|||
|Activé ?|Oui|
|Priorité|Oui|
|Autoriser le chat|Oui|
|Autoriser les mentions|Oui|
|Vision activée|Non|
|||
|Nom|Rag Testing Bot 3|
|Description|Tester l’injection de prompt RAG vs contexte long|
|Modèle linguistique par défaut|GPT-4o-custom|
|Utilisateur| Rag_Testing_Bot_bot|
|Commandes activées|Catégories, Lire, Résumé|
|Groupes autorisés|trust_level_4|
|||
|Prompt système|Répondez aussi complètement que possible à partir du contexte fourni sur la recherche sur l’élimination du carbone d’Equatic dans le fichier ci-joint. N’inventez pas de contenu. N’utilisez pas de contenu extérieur à cette session. Concentrez-vous sur le contenu fourni et créez des réponses à partir de celui-ci aussi précisément et complètement que possible.|
|||
|Posts de contexte max|50|
|Température|0.1|
|Top P|1|
|||
| ||
|Téléchargements| Equatics-paper1-with-unique-haystack-needles-v116.txt|
|||
|Jetons de morceau de téléchargement|1024|
|Jetons de chevauchement de morceau de téléchargement|10|
|Morceaux de conversation de recherche|10|
|Modèle linguistique pour le consolidateur de questions|GPT-4o-custom|
|||
|BOT PERSONNALISÉ||
|||
|Nom à afficher|GPT-4o-custom||
|||
|Nom du modèle|gpt-4o||
|||
|Service hébergeant le modèle|OpenAI|
|URL du service hébergeant le modèle|https://api.openai.com/v1/chat/completions|
|Clé API du service hébergeant le modèle|D20230943sdf_fake_Qqxo2exWa91||
|||
|Tokeniseur|OpenAITokenizer|
|Nombre de jetons pour le prompt|30000|