Было бы здорово добавить настройки длины сводки. Похоже, что она ориентирована на 150–200 слов, что для некоторых тем может быть недостаточно.
Хотелось бы иметь возможность настраивать промпт. Например, по умолчанию я бы выбрал формат маркированного списка.
Хотелось бы поэкспериментировать с промптом, который указывает, кто что сказал, и ссылается на сообщения.
Стоит разделить минимальное количество постов для суммирования с помощью ИИ от общего минимального порога. Скорее всего, суммирование с помощью ИИ будет полезно даже при меньшем количестве постов.
Обратите внимание, что у gpt-3.5 теперь есть версия с лимитом в 16 тысяч токенов, что может быть очень актуально в данном случае.
А теперь две ключевые функции, которые я хотел бы видеть:
ежедневные сводки с использованием функции суммирования с помощью ИИ
сводки при наведении на тему (например, предварительно сгенерированные)
В данный момент мы используем упрощённый промпт (когда выбраны OpenAI или Anthropic), но скоро его изменим, так как сейчас работаем над этим.
Настройка промпта — интересная функция, мы можем добавить её в будущем.
На этой неделе мы изменили логику так, чтобы функция отображалась для сообщений, содержащих хотя бы один ответ.
Мы добавили поддержку больших контекстных моделей OpenAI в день их выпуска. В настоящее время вы можете выбрать:
GPT 3.5 Turbo с 16k
GPT 4 с 32k
Claude с 100k
В настоящее время ведутся работы по кэшированию сгенерированных резюме, чтобы их можно было использовать в других местах, что откроет возможности для таких функций.
Это изменение, которое мы внедрили на этой неделе, поэтому оно появится на вашем сайте в ближайшие несколько дней.
Что здесь означает «очередь реализации»?
Как вы можете видеть здесь, на Meta, мы уже сделали это. Старая сводка теперь называется «Показать основные ответы». Мы всё ещё работаем над дизайном и порядком кнопок.
Используя Gemini 1.5 Flash, в сводках часто содержатся ссылки на несколько постов, но они не отображаются как кликабельные ссылки. Я не помню, чтобы другие модели пытались использовать несколько ссылок.
Ну, это просто недопустимый формат Markdown, поэтому он не работает.
Жаль, что Gemini Flash не способен генерировать корректный Markdown. Здесь, в Meta, мы используем Llama 3.1, квантованную до FP8, для создания сводок, и она отлично справляется с генерацией правильных ссылок в формате Markdown.
Не знаю, сочтёте ли вы целесообразным исправлять известные проблемы, например, проверку на Mondays и этот конкретный случай с Markdown. Понимаю, что это не идеально, но, возможно, это лучше, чем терять в целом хорошие варианты LLM.
Мне кажется, это легко исправить, так как мы можем улучшить наш пример. На данный момент промпт выглядит так:
Вы — продвинутый бот для суммирования, который создает краткие и связные резюме предоставленного текста.\n\n- Включайте только резюме, без каких-либо дополнительных комментариев.\n- Вы понимаете и генерируете Markdown форума Discourse, включая ссылки, _курсив_, **жирный шрифт**.\n- Сохраняйте оригинальный язык суммируемого текста.\n- Старайтесь, чтобы резюме не превышало 400 слов.\n- Каждый пост оформляется как \"<НОМЕР_ПОСТА>) <ИМЯ_ПОЛЬЗОВАТЕЛЯ> <СООБЩЕНИЕ>\"\n- Ссылайтесь на конкретные значимые посты, используя формат [ИМЯ](/t/-/31793/НОМЕР_ПОСТА)\n - Пример: ссылка на 3-й пост от sam: [sam](/t/-/31793/3)\n - Пример: ссылка на 6-й пост от jane: [agreed with](/t/-/31793/6)\n - Пример: ссылка на 13-й пост от joe: [#13](/t/-/31793/13)\n- При форматировании имен пользователей используйте либо @ИМЯ_ПОЛЬЗОВАТЕЛЯ, либо [ИМЯ_ПОЛЬЗОВАТЕЛЯ](/t/-/31793/НОМЕР_ПОСТА)
Это кажется немного двусмысленным. Мы можем добавить конкретики, например, как в этом примере:
В принципе, @Roman / @Falco, нам придется изъять эти промпты из дерева исходного кода и, возможно, разместить их в персонаже, чтобы сообщества могли настраивать их и делиться тем, что работает лучше.
Меня не удивит, если в долгосрочной перспективе нам понадобятся специальные промпты для менее мощных моделей.
Персона подошла бы идеально, если бы у нас была поддержка «примеров», что не кажется чем-то нереалистичным. Либо мы можем перенести это в CompletionPrompt и добавить для него интерфейс.
Мне нравится идея настройки промпта под ваши потребности и использования возможностей модели. Я также считаю, что превращение персонажей в более универсальную концепцию — отличная идея.
По сути, это идея «функций персонажа» и «подготовленных инструкций», которые мы обсуждали в этом году. Мы бы перенесли всё, включая AI Helper, Summary, Search и другие, на использование этих функций, позволили бы создавать пользовательские версии и обеспечили бы интерфейс для связывания их с функциями в UI.
Сложности возникнут, когда мы обновим предустановленные версии, чтобы использовать другой формат, например, перейти от XML к JSON, поэтому, надеюсь, это то, что мы сможем рассмотреть для реализации в следующем году.
Я не до конца понял последние несколько постов. У меня всё ещё появляются некорректные сводки. Есть ли что-то конкретное, что я могу попробовать с персонажами, или мне нужно ждать рефакторинга, о котором вы говорите?
всплывающее окно недостаточно широкое
