Будучи одним из тех, кому посчастливилось увидеть это в действии, могу сказать: это одна из функций для крупных сайтов, которую стоит действительно понять и рассмотреть к внедрению.
Поскольку она работает на основе ИИ, использующего большие языковые модели (LLM), она не всегда приходит к верному выводу, но в тех случаях, которые я наблюдал за несколько дней использования, когда она брала на себя часть работы модератора, её вклад был несомненно значительным.
Некоторые из первых обсуждений этой функции можно найти в категории Lounge на сайте OpenAI. Хотя доступ к этой категории открыт для всех, необходимо выполнить требования уровня TL3. А поскольку OpenAI — крупный сайт, достичь уровня TL3 там довольно сложно.
Для тех, у кого есть доступ, вот ссылка:
https://community.openai.com/t/lost-users-first-empirical-data/403082/95
В целом, логика, помогающая модераторам решать конкретную проблему, заключается в следующем: мы наблюдаем, что около 5% постов от новых пользователей содержат вопросы, которые они ошибочно задают в чат-боте ChatGPT, полагая, что форум предназначен для этого. Очевидно, что они заблудились, либо, возможно, результат поиска предоставил им неверную ссылку. ИИ идентифицирует такие посты, отвечает заранее подготовленным текстом, а также при необходимости меняет категорию и теги, например:
Для рассмотренного случая вот что делает правило автоматизации «Discourse AI Post Classifier»:
Автоматическая категоризация постов
Классификатор при необходимости меняет категорию на ChatGPT. Поскольку большинство новых пользователей не выбирают категорию, сайт OpenAI по умолчанию назначает им категорию API, что в данном случае неверно.
Разметка поста тегами
Классификатор в данном случае меняет тег(и) на lost-user. Название тега было создано пользователем уровня TL3 на форуме, который вручную менял теги.
Автоматические ответы
Классификатор отвечает заранее подготовленным сообщением.
Скрытие тем
Темы помечаются как невидимые (unlisted), так как они не представляют ценности для разработчиков, использующих сайт.
Пользователь, ответивший
В качестве создателя ответа используется System.
Примечание: Я хотел бы предоставить конфигурацию для этого, но у меня нет доступа. Возможно, @Sam сможет добавить детали. Насколько я знаю, её можно сделать публичной, так как в конфигурации нет ничего конфиденциального. Поскольку она предназначена для конкретного сайта, вряд ли её стоит искать в публичном репозитории. Если вы понимаете эту технологию, нетрудно догадаться о правильных значениях или близких к ним. Системный промпт потребовал некоторой доработки, и, возможно, @Sam сможет поделиться некоторыми уроками, извлечёнными в процессе; знание того, как составлять промпты, имело большую ценность на этапе разработки.
Системный промпт
Примечание: Это версия, опубликованная в Lounge OpenAI (ссылка). Уверен, что финальная версия отличается, но один пример экономит много догадок.
Вы — бот, который сортирует все первые взаимодействия пользователя на форуме разработчиков OpenAI.
Пожалуйста, отвечайте только «ok» или «bad».
Посты тематичны и считаются «ok», если:
Они касаются API OpenAI / Сообщества / Разработки плагинов / Документации / Промптинга
Они посвящены разработке или улучшению методов промптинга больших языковых моделей
Они касаются ИИ в общем смысле
Они включают сложные обсуждения или логические задачи, связанные с ИИ
Посты считаются «bad», если:
Пользователь, похоже, ведёт случайный разговор с ChatGPT
Пользователь отклоняется от темы, обсуждая несвязанную область
Пользователь просит большую языковую модель сгенерировать текст без явной цели
Вы испытываете крайние трудности с пониманием того, о чём речь
Тема связана с OpenAI, но явно представляет собой разговор с ботом
Пользователь пытается обучить или протестировать модель ИИ через свой пост
Пользователь даёт инструкции или запрашивает ответы в формате, не предполагающем обсуждения
Пользователь публикует контент, не способствующий содержательному обсуждению или обучению
Пользователь публикует гипотетический или спекулятивный контент без явной связи с областью деятельности OpenAI
Пользователь публикует весь пост на языке, отличном от английского
Пожалуйста, классифицируйте следующий контент, заключённый в [[[]]]:
[[[
%%POST%%
]]]
К сведению
Если вы модератор на сайте, использующем эту функцию, и хотите/нуждаетесь в просмотре списка невидимых постов, помните, что поиск здесь не поможет. Однако вы можете перейти к такому списку через категорию, выбрав затем теги. Или же вы можете вручную составить URL, например: https://community.openai.com/tags/c/chatgpt/19/lost-user
Да, это работает даже для языков, отличных от английского.
Однако это не работает с изображениями 
, так как ИИ не преобразует изображение в текст перед проверкой, например:
Вот недавний ложноположительный результат, или, по крайней мере, так мне кажется.
Подробнее о ложных/истинных отрицательных и ложных/истинных положительных результатах см. здесь: Классификация: Истинные против ложных и Положительные против отрицательных