Привет! Я заметил, что плагин Discourse AI теперь включает раздел «Примеры» в панели администратора, где можно симулировать предыдущие взаимодействия пользователя и модели для улучшения ответов.
Есть ли какие-либо рекомендации по созданию таких примеров? Они должны быть короткими и сфокусированными или более похожими на полные ответы?
Также, является ли это хорошим местом для переноса контента, который мы обычно размещаем в промпте персонажа или системном промпте? И как модель обрабатывает примеры иначе, чем содержимое промпта — учитываются ли они с другим весом или обрабатываются по-другому?
Просто хочу максимально эффективно использовать эту функцию, не раздувая промпт. Буду благодарен за любые советы или разъяснения!
Они должны следовать тому же формату, который вы ожидаете для своих выходов. Если вы хотите короткие ответы в последующих взаимодействиях, держите примеры короткими, и наоборот.
Нет. Это просто добавление раундов разговора, которые будут добавляться в начало каждого взаимодействия с этим персонажем.
Зависит от модели. Некоторые модели, такие как Gemma, обрабатывают системный промпт и сообщения пользователя с практически одинаковым весом. В то время как другие модели придают больший вес системному промпту.
Идея заключается в том, что ваши разговоры с этим персонажем будут выглядеть так:
system: системный промпт здесь
user: пример 1
assistant: пример 1
user: пример 2
assistant: пример 2
user: ваше фактическое сообщение здесь
assistant:
Где примеры отлично работают, чтобы помочь задать стиль сообщений ассистента.