В блоге рассказывается о том, как GPT-4 обучается выступать в роли модератора интернет-контента на основе правил.
Это напрямую применимо к сайтам на базе Discourse, где используются человеческие модераторы для фильтрации контента в соответствии с правилами.
Как модератор на нескольких сайтах, я использую правила как организации, так и форума Discourse, чтобы принимать решения о действиях в отношении сообщений, особенно когда они помечены. Не редкость, когда я, как модератор, оставляю сообщение, которое было помечено, если оно не нарушает правила.
Я знаю, что вы просили моего мнения, но я стараюсь ограничиваться фактами; надеюсь, я остался в рамках своих полномочий.
Моя цель не состояла в том, чтобы начать обсуждение, а в том, чтобы передать информацию, которую я считаю актуальной как для компании Discourse, так и для тех, кто управляет сайтами с помощью человеческих модераторов.
Хотя я старался придерживаться только фактов в информации, предоставленной в первом посте, вот один момент, который, по моему мнению, стоит обсудить.
Должен ли сайт полагаться исключительно на ИИ-модератора или люди должны быть вовлечены в процесс? Более важно: что происходит, когда ИИ и человек не согласны?
Использование слова «loop» было не случайным, а осознанным выбором; вы когда-нибудь слушали передачи с миссий «Аполлон» из центра управления полётами и замечали это слово?
Очень интересный побочный аспект, связанный с этим, который многие могут не заметить, заключается в том, что это та же проблема, с которой сталкиваются пилотируемые космические полёты: должен ли космический корабль быть полностью автономным или человек должен иметь возможность брать на себя частичный и/или полный контроль? Это можно считать началом автоматических пилотов для самолётов.
Замечательная книга, которую я лично прочитал на эту тему, многому меня научила в области кода и дизайна, не встречающейся в других проектах.
«Цифровой Аполлон: Человек и машина в космических полётах» Дэвида А. Минделла (сайт) (WorldCat)
Конечно, оставляйте людей в контуре управления. Вы видели «Робокопа»? Серьезно, в модерации много нюансов, требующих суждения. Хотя наличие руководящих принципов и их применение — это хорошо, рассматривать их как набор строгих правил, на мой взгляд, глупо: это попытка решить человеческую проблему техническими средствами.
Редакция: Добавлю, что я управляю форумами человеческого масштаба, где модераторы знают друг друга и постоянных участников. Я уверен, что OpenAI мыслит категориями промышленных форумов, работающих с целью извлечения прибыли, где задачи модерации совершенно иные.
Discourse — идеальная платформа для обучения, развития и создания новых инструментов.
Я полностью поддерживаю революцию ИИ, рассматривая её как децентрализованную, взаимосвязанную «нейронную сеть» сетей, через которую уже существующие человеческие общества и культуры могут начать эффективнее эволюционировать и сотрудничать, а также начать менять ход событий в борьбе с поляризацией, усиленной централизацией власти и контроля, навязанной нам недавними версиями «социальных» сетей.
Люди должны быть вовлечены в процесс, но я считаю, что наличие определенного уровня модерации с помощью ИИ стало бы большим преимуществом для любого государственного учреждения, рассматривающего возможность создания форума. Например, если бы удалось убедить CBC (Canadian Broadcasting Corporation) создать такой форум.
Баланс мог бы быть следующим: человеческие модераторы использовали бы свои навыки для направления дискуссий, в то время как (под контролем человека) ИИ обеспечивал бы соблюдение правил сайта. Модерация с помощью ИИ потенциально могла бы сделать форумы более готовыми допускать обсуждения острых и поляризующих вопросов.
Я хочу использовать AI-ассистированную модерацию для выявления проблемных пользователей, создающих новые аккаунты после блокировки. Работа с такими случаями отнимает у меня больше времени, чем я хотел бы, а я даже не являюсь модератором (у нас разделённые роли).
Есть ли какая-либо функциональность ИИ, подобная этой, для интеграции в Discourse? Мне кажется, это было бы очень полезно для помощи в модерации моего сообщества. Пожалуйста, дайте знать! Ищу решения, которые сэкономят время на посты, нарушающие наши правила.
Модерация контента играет ключевую роль в поддержании здоровья цифровых платформ.
Система модерации контента на базе GPT-4 обеспечивает значительно более быструю итерацию изменений политики, сокращая цикл с месяцев до часов. GPT-4 также способен интерпретировать правила и нюансы в длинных документах по политике контента и мгновенно адаптироваться к обновлениям политики, что приводит к более последовательной маркировке. Мы считаем, что это предлагает более позитивное видение будущего цифровых платформ, где ИИ может помогать модерировать онлайн-трафик в соответствии со специфической для платформы политикой и снижать ментальную нагрузку на большое количество человеческих модераторов. Любой, у кого есть доступ к API OpenAI, может реализовать этот подход для создания собственной системы модерации с помощью ИИ.
Пока OpenAI продаёт вам токены для использования аттракционов на вашей ярмарке, одна «ментальная нагрузка» заменяется другой «ментальной нагрузкой» (при условии, что это вас волнует). Можете ли вы её заметить?
Хотя я абсолютно в восторге от этой технологии и посвятил себя её изучению в той мере, в какой это возможно, чтобы лучше понимать, как её использовать, очевидно, что OpenAI (и подобные сервисы) действительно нащупали что-то стоящее с коммерческой точки зрения.
Суть в том, что за каждый опубликованный пост вы должны платить OpenAI, возможно, по нескольким причинам: суммаризация, проверка грамматики поста, фильтрация контента для взрослых (NSFW), создание эмбеддингов профиля — список можно продолжать.
Прежде чем вы это осознаете, OpenAI будет получать солидную долю от всего трафика на вашем собственном сайте. Всё то долгожданное рекламное и партнёрское вознаграждение, которое вы заработали? Часть из него теперь перенаправляется им.
А провайдеры облачных VPS будут в восторге от всех тех, кто обновляет свои серверы с 4 ГБ до предложений на 16 ГБ, чтобы использовать открытые модели локально.
Тем не менее, конечно, никто не станет делать это в масштабах, если это не будет более эффективным способом и если это не станет конкурентно важным.
И, если смотреть менее пессимистично, ещё один взгляд на предоставляемые сервисы — это демократизация технологий, которые ранее были доступны только крупным провайдерам.
Например, семантический поиск сейчас стал дешевле, чем когда-либо, и небольшие установки теперь могут использовать мощный поиск по очень доступной цене. Разве это не замечательно?
Мощность обработки естественного языка даже в более дешёвых моделях просто поразительна.
Мы только начали эту новую эру, и я уверен, что цены снизятся по мере того, как конкуренция будет процветать.
Это абсолютно уместно и, на мой взгляд, точно не выходит за рамки темы.
Сколько постов в день публикуется на вашем сайте?
Если вам приходится платить OpenAI за каждый опубликованный пост, это важный фактор.
Какова предельная ценность поста для вашей рекламной выручки и вовлечённости пользователей?
В конечном счёте, чтобы это было оправдано, оно должно окупаться.
У меня нет сомнений, что это может значительно сократить время, затрачиваемое на управление сообществом, и повысить общее качество сайта, что создаст веские основания для внедрения.
Однако дело не только в наличии такой функции или технической возможности её реализации — эти аспекты также необходимо учитывать.
