ПРИМЕЧАНИЕ:
Мне удалось повторно запустить описанный выше тест с использованием GPT-4o (контекст 128k), убедившись в применении настроек большого токена / чанка.. но для моего кейса использования Q/A по белой книге это по-прежнему очень нестабильно.. (потеря в середине, потеря в конце и т.д.) ..вот мои настройки, если кто-то захочет повторить и доработать. .Буду рад, если мы сможем найти правильные настройки для этого случая :
| КАСТОМНЫЙ ИИ-ПЕРСОНА | |
|---|---|
| Включено? | Да |
| Приоритет | Да |
| Разрешить чат | Да |
| Разрешить упоминания | Да |
| Визуализация включена | Нет |
| Имя | Rag Testing Bot 3 |
| Описание | Тестирование RAG против инъекции промпта в длинный контекст |
| Модель языка по умолчанию | GPT-4o-custom |
| Пользователь | Rag_Testing_Bot_bot |
| Разрешенные команды | Категории, Чтение, Резюме |
| Разрешенные группы | trust_level_4 |
| Системный промпт | Отвечайте максимально полно на основе предоставленного контекста об исследованиях по удалению углерода Equatic из прикрепленного файла. Не придумывайте контент. Не используйте контент, внешний по отношению к этой сессии. Сосредоточьтесь на предоставленном контенте и создавайте ответы на его основе максимально точно и полно. |
| Макс. постов в контексте | 50 |
| Температура | 0.1 |
| Top P | 1 |
| Загрузки | Equatics-paper1-with-unique-haystack-needles-v116.txt |
| Токенов в чанке загрузки | 1024 |
| Перекрытие токенов чанка загрузки | 10 |
| Поиск чанков в диалоге | 10 |
| Модель языка для консолидатора вопросов | GPT-4o-custom |
| КАСТОМНЫЙ БОТ | |
| Отображаемое имя | GPT-4o-custom |
| Название модели | gpt-4o |
| Сервис, хостящий модель | OpenAI |
| URL сервиса, хостящего модель | https://api.openai.com/v1/chat/completions |
| API-ключ сервиса, хостящего модель | D20230943sdf_fake_Qqxo2exWa91 |
| Токенизатор | OpenAITokenizer |
| Количество токенов для промпта | 30000 |