Просто напоминаю, что AI-триаж больше не требует следующего благодаря работе @Roman по улучшению промптов:
3 лайка
Всем привет! Это скорее комментарий с благодарностью, потому что я хотел прежде всего поблагодарить всех вас за предоставленную здесь информацию, а также за посты, которые я уже изучил касательно этой функции.
Это дало столь необходимый контекст о том, как реализована эта работа. В настоящее время я изучаю измерение и идентификацию моделей онлайн-токсичности в корпоративной среде, социальных сетях и особенно в небольших или растущих сообществах. У меня есть много вопросов, но пока ничего существенного сообщить не могу.
2 лайка
Короткое уточнение — это означает, что существующие промпты, которые уже выполнялись, нужно обновить?
2 лайка
Да, существующие промпты теперь следует обновить, чтобы отразить изменения.
2 лайка
AI-триаж — это фантастика! С нетерпением жду, насколько далеко мы сможем продвинуться с его помощью, отходя от классических алгоритмов «мешка слов». Функция пост-классификатора — отличное решение. Интересно, есть ли планы разрешить его использование в очереди одобрения постов (например, «одобрить, если количество одобренных постов X, либо одобрить, если пользователь состоит в разрешённых группах»).
По сути, использовать классификатор не только для добавления в очередь на проверку, но и для автоматического одобрения или отклонения постов из этой очереди. (Я имею в виду не только обработку флагов, но и одобрение/отклонение).
Я рассматриваю AI-триаж постов и очередь проверки постов как взаимодополняющие инструменты.
4 лайка
Итак, чтобы добавить теги или изменить категории, на данный момент существуют следующие варианты (поправьте меня, если я ошибаюсь):
- Пользователь использует AI-помощник, чтобы предложить теги и категорию прямо в редакторе, основываясь на векторах встраивания ближайших соседей и сравнивая их с предыдущими постами.
- Администратор настраивает отдельный классификатор постов на базе ИИ, который прогоняет тему через LLM для каждого возможного тега и каждой возможной категории. Тег добавляется или категория меняется, если LLM это рекомендует. Случайные теги не добавляются: каждый классификатор отвечает только за один конкретный тег (да или нет). Это не только неудобно в настройке и поддержке, но и дорого, так как нужно запускать все классификаторы.
То, что я хотел бы видеть — это классификатор, который принимает инструкцию вроде:
Вы — помощник по тегированию форума. Форум посвящен темам X, Y и Z.
Ваша задача — добавлять к постам форума один или несколько из следующих тегов:
- один тег, указывающий, продается ли что-то или что-то ищется. Теги: for_sale, wanted, advice
- один тег, указывающий тип предмета поста: cars, services, tickets, kids_stuff, home_and_garden, other.
Если вы встретите сообщение, содержащее контент для взрослых (NSFW), пометьте его тегом NSFW.
Вы также можете задавать действия для модерации поста.
Если вы встретите сообщение, которое соответствует тематике форума, но может быть воспринято как оскорбительное, установите действие ‘flag’.
Если вы встретите сообщение, не соответствующее тематике форума, установите действие ‘hide’.
Это можно дополнить новой отличной функцией OpenAI структурированный вывод, которая возвращает JSON-структуру, указывающую, какие теги добавить или какое действие выполнить. Затем эта структура будет обрабатываться классификатором.
Есть ли что-то подобное в дорожной карте и/или приветствуются ли pull-запросы (PR)? Или это область для плагина?
7 лайков
Я думаю, что самый безопасный подход в данном случае — создать совершенно новую автоматизацию, так как её структура сильно отличается от текущей.
Мы были бы не против хорошо протестированного PR в репозиторий Discourse AI.
Имейте в виду, что в данный момент Completion Prompt в AI не поддерживает структурированные выводы. Для реализации этой концепции потребуется добавить и внедрить поддержку для моделей OpenAI. У нас огромное количество моделей, и многие из них не имеют нативной поддержки. Я был бы не против PR, который добавит поддержку OpenAI, по крайней мере на начальном этапе, при условии, что это не запутает конечных пользователей и мы предоставим им возможность выбирать модель, не поддерживающую эту функцию.
Это довольно масштабное изменение, но если вы чувствуете в себе силы — дерзайте.
Рекомендую разбить работу на несколько PR, начиная с добавления поддержки структурированных выводов для Completion Prompt (с тестами).
9 лайков
При создании автоматизации «Автодобавление тегов к сообщениям» я не могу выбрать тег, который был добавлен в группу тегов. Подскажите, пожалуйста, есть ли какие-либо обходные пути для этого? Я предпочитаю сохранить существующую группу тегов. Спасибо!
1 лайк
Всем привет,
Правильно ли я понимаю: если у меня 50 категорий, и я собираюсь использовать ИИ для автоматической сортировки тем по этим категориям, мне понадобится 50 отдельных автоматизаций?
Вызывается ли LLM только в момент создания новых тем для первого сообщения? Похоже, что в таком сценарии использование ИИ не будет чрезмерным.
Кажется, я читал, что кто-то рассматривал другой подход к этому, но, возможно, это пока только на стадии идеи.
3 лайка
Я думаю, что ответ на мой вопрос зависит от того, насколько детально вы хотите автоматизировать категоризацию.
Возможно, кто-то сможет ответить на вопрос: при использовании автоматизации для автоматической категоризации тем имеет ли приоритет поле ввода поиска при сопоставлении по сравнению с использованием ИИ?
Другими словами, если я установлю «Банан» как поисковый термин в автоматизации, и пользователь создаст тему, содержащую слово «Банан» в тексте поста, то сработает правило «Совпадение», ИИ не будет вызван, и тема будет категоризирована как «Банан».
Если же пользователь создаст тему, в которой описано «желтый фрукт, который едят обезьяны», то совпадения не будет, сработает запрос к ИИ, который может определить, что речь идет о банане 
.
В данном сценарии «Банан» также будет уже существующей категорией.
1 лайк
Часть этого перекликается с тем, о чем говорил @RGJ, а часть — это идеи, которые я обдумываю вместе с @Falco.
Я постепенно прихожу к мысли о возможности использования персонажа в качестве агента. Тогда вы сможете доверить агенту выполнение различных задач с помощью инструментов, например, категоризацию тем и так далее.
Механика этого процесса пока не определена, но мы над этим работаем.
50 автоматизаций — это явно ужасное решение.
6 лайков
Здравствуйте
Может ли AI Triage выполнять поиск? Я планирую использовать промпт, который исключает темы с похожими заголовками, если дата создания другой темы меньше одного дня. Возможно ли это с помощью AI Triage?
1 лайк
На данный момент нет, похоже, вы описываете поведение, характерное для «агентов». Это определенно то, над чем мы сейчас размышляем!
3 лайка
Вау, это работает как по маслу!
Ищу совета: какое ограничение по количеству токенов лучше установить? Это для форума с небольшим трафиком.
Переношу это сюда для актуальности
1 лайк
Я считаю, что эту функцию нужно улучшить. Ожидается, что ИИ будет автоматически категоризировать темы и добавлять к ним соответствующие теги. В текущем состоянии это не полностью автоматизировано (или я что-то не понял). Например, нам приходится выбирать конкретную категорию. У нас ведь есть ИИ, почему он не делает всё сам? Это было бы огромным удобством для пользователей и администраторов. Если бы категории и теги автоматически организовывались ИИ, то можно было бы автоматизировать даже заголовок. Тогда пользователям осталось бы только написать то, что они хотят сказать. Это сэкономило бы нам несколько секунд и стало бы большим удобством для пользователей.
Фундаментальный ответ заключается в том, что слово «всё» означает разные вещи для разных людей. Настройки по умолчанию помогают, но найти рецепт, который идеально подходит для 99% людей, чрезвычайно сложно. Все сообщества в какой-то мере различны.
3 лайка
Наша цель — упростить работу людей. Поэтому давайте автоматизируем этот процесс, а при необходимости администраторы или авторизованные пользователи смогут редактировать его и предоставлять обратную связь ИИ. Эта функция может остаться без изменений, но нам нужно подумать о полностью автоматизированном ИИ определении категорий и тегов.
На самом деле, я ожидаю, что люди смогут легко создавать новые темы, как здесь https://ask.discourse.com/, не тратя время на категории, заголовки или теги. Их можно будет отредактировать позже, если потребуется, но нам нужно оценить преимущества предоставления такого удобства пользователям.
Шансы на то, что ИИ сможет сделать это хорошо, ничтожно малы. Если человек, создающий тему, недостаточно знаком с сообществом, чтобы понять, в какую категорию её поместить, или какой заголовок будет уместен, то маловероятно, что он опубликует что-то ценное для сообщества.
Где же остановиться? Зачем вообще заставлять пользователей что-то писать? Разве ИИ не должен сам создавать темы и ответы?
2 лайка
Я согласен с последними ответами, но автоматическая категоризация могла бы стать интересной функцией для экспериментов.
Возможно, стоит добавить опцию включения/выключения этой функции, чтобы учесть различные потребности разных людей, на что указал Сэм.
Интерфейс для выбора категорий сложен для нетехнических пользователей. Никто не хочет прокручивать выпадающие списки и/или использовать мышь с клавиатурой, когда можно просто написать и отправить сообщение.
1 лайк