Я новичок в области Discourse AI. Я использую модель встраивания “sentence-transformers/all-mpnet-base-v2”. Хватит ли этого для семантического поиска?
Или мне нужно добавить модель HyDE?
Пожалуйста, дайте рекомендации по этому вопросу.
Вам также потребуется LLM для семантического поиска. Если вы хотите разместить его самостоятельно, ознакомьтесь с размещением LLM с открытым исходным кодом для DiscourseAI.
Большое спасибо.
Не могли бы вы подсказать, какие требования нужны для развёртывания модели «mistralai/Mistral-7B-Instruct-v0.2» локально (on-prem) и в облаке для корпоративного веб-сайта?
Также я не могу найти токенизаторы для этой модели в панели администратора.
Здесь нет ничего специфичного для Discourse, поэтому действуют стандартные правила. Модель на 7B параметров при использовании fp16 потребует около 14 ГБ видеопамяти (VRAM) плюс место для контекста. Вы можете использовать квантование fp8, чтобы сократить это вдвое, но эта старая модель не очень хорошо подходит для такого квантования.
Поскольку невозможно включить все возможные токенизаторы, вам следует выбрать ближайший из доступных.
Можете ли вы порекомендовать нам некоторые модели LLM для этого сценария? Возможно, мы будем размещать нашу модель локально, поэтому хотели бы узнать о факторе совместимости моделей с Discourse.
Спасибо.
Зависит от вашего бюджета, целевой языковой поддержки и того, какие функции Discourse AI вы хотите использовать.
На сегодняшний день Qwen 2.5 Instruct в версиях 32B или 72B являются сильными кандидатами.
Есть ли способ использовать для функции суммирования меньшую модель? Поскольку LLM требуют большего бюджета, нам, возможно, пока придется остановиться на чём-то более компактном…
Да, вы можете использовать любую модель, какую захотите.
Можно ли изменить полезную нагрузку, отправляемую модели, для суммаризации или любой другой функции?
В частности, я хочу изменить содержимое системного сообщения.
{‘role’: ‘system’, ‘content’: ‘Вы — продвинутый бот для суммаризации, который создает краткие и связные резюме предоставленного текста.\n\n- Включайте только резюме, без каких-либо дополнительных комментариев.\n- Вы понимаете и генерируете Markdown форума Discourse, включая ссылки, курсив, жирный шрифт.\n- Сохраняйте исходный язык текста, который суммируется.\n- Старайтесь, чтобы резюме не превышали 400 слов.\n- Каждый пост оформляется как “<НОМЕР_ПОСТА>) ”\n- Ссылайтесь на конкретные примечательные посты, используя формат ОПИСАНИЕ\n - Пример: ссылки на 3-й и 6-й посты от sam: sam (#3, #6)\n - Пример: ссылка на 6-й пост от jane: согласился с\n - Пример: ссылка на 13-й пост от joe: joe\n- При форматировании имен пользователей используйте либо @ИМЯ_ПОЛЬЗОВАТЕЛЯ, либо ИМЯ_ПОЛЬЗОВАТЕЛЯ’}
Если это возможно, как это сделать?
В данный момент это невозможно, но мы уже начали работу над тем, чтобы сделать это возможным. Ожидаем появления в ближайшие недели.