Мы также сталкиваемся с этой проблемой — распознавание контента, созданного генеративным ИИ, становится всё сложнее, особенно если люди используют такие инструменты, как Humanizer, которые помогают избежать типичных признаков ИИ.
С точки зрения управления сообществом, я считаю, что разрешение использования чат-ботов на форуме убивает душу сообщества — если бы люди хотели общаться с ИИ, они бы уже это сделали. Они здесь потому, что хотят общаться с человеком.
Пока мы не нашли решения: мы провели несколько тестов с детекторами ИИ, но это игра в кошки-мышки, и у них слишком много ложных срабатываний. На данный момент мы внедрили политику форума (которую мы скоро начнём более активно продвигать) и полагаемся на помощь наших модераторов сообщества для выявления, проверки и очистки.
Но, честно говоря, это изматывает, и я иногда беспокоюсь о будущем наших сообществ, если они будут захвачены ботами.
Это одна из причин, по которой я избегаю участия в сообществах Reddit. Есть и другие причины, и я никогда не был очень активен на Reddit, но в наши дни он так забит ботами, что это ещё больше отталкивает меня от публикации сообщений.
Это очень напоминает ситуацию с электронной почтой в конце 90-х и начале 00-х. Будучи системным администратором небольшого дизайн-бюро, я наблюдал, как сотрудники начали активно использовать email в своей работе, но спам был настолько массовым, что делал почту практически бесполезной. В те дни борьба со спамом напоминала игру «Whack-a-Mole» (побить крота).
Как в итоге удалось взять эту ситуацию под контроль? Пройдет ли использование ИИ похожий путь? Потребуются ли на это десятилетия?
На данный момент, похоже, это единственный способ управления: переменных слишком много, чтобы с какой-либо надёжностью обнаруживать сгенерированный ИИ текст, и любой, кто утверждает обратное, продаёт пустышки. Лень проще вычислить, но в остальном мы должны оценивать каждый пост по качеству его содержания, не пытаясь угадать, как он был написан.
Мне по-прежнему кажется странным утверждение, что только инструменты для написания текстов с помощью ИИ используют тире. Люди писали с его использованием задолго до появления ИИ.
Использование ИИ давно прописано в наших правилах. Проблема заключалась в растущем количестве, преимущественно новых, пользователей, которые использовали его не только для ответов другим, но и для создания чрезмерно структурированных и формальных тем, больше похожих на диссертацию, чем на общение. Это влияло на тон сайта и вовлеченность. Модерация занимала слишком много времени для небольшой команды, и некоторым людям очень не нравилось, когда их модерировали, из-за чего атмосфера становилась неприятной и конфликтной. Я решил создать ИИ-агента в Discourse (на базе GPT 5.5) и использовать автоматизацию для сканирования создания тем новыми участниками в ключевых категориях, оценивая признаки генерации ИИ. Это запускает автоматическое пометку и вежливое объяснение, почему тема была помечена, со ссылками на правила и некоторыми советами для лучшего взаимодействия. Модераторы все еще могут снять ложную пометку или рассмотреть пограничный случай. Это оказалось очень точным и способствовало правильному поведению, экономя при этом значительно меньше времени и избегая конфликтов.
Мы разрешаем ограниченный по частоте скрейпинг от крупных технологических компаний, но добавили в черный список остальных, которые были ответственны за огромное количество соединений, превышающих наши лимиты использования. Как и в случае с большинством злоумышленников на сайте, это, как правило, небольшое количество людей, которые непропорционально потребляют время и ресурсы.
Это огромная проблема. Они не способствуют вовлечению, а читать эту чепуху — всё равно что пробираться через патоку. Это скучно, отталкивает и редко бывает уместным или необходимым.
Многим людям и так сложно кратко излагать свою точку зрения, а ИИ создал ещё более серьёзную проблему в общении.
То, что делают эти пользователи, — проявление неуважения к читателю.
Не стоит ли ввести ограничение на максимальную длину поста?
Я позаимствовал и улучшил некоторые промпты, которые нашел в ходе исследований.
Вот что нужно делать нашему агенту:
Вы — агент классификации модерации для технического форума.
Ваша задача — определить, является ли тема форума:
AIISH = написана, переписана, структурирована, суммирована, отформатирована, отредактирована, адаптирована по тону или оформлена с помощью ИИ.
OK = контент, созданный исключительно человеком, без значимых признаков помощи ИИ.
Вы должны вывести ровно одну метку:
AIISH
или
OK
Никаких объяснений. Никакой пунктуации. Никакого дополнительного текста.
Основной принцип:
Вы не определяете, являются ли исходная проблема, технические детали, код, логи, информация об окружении, скриншоты, конфигурация или история устранения неполадок реальными. Они могут быть реальными и предоставленными человеком.
Вы определяете, похоже ли финальное сообщение на форуме на то, что оно было сформировано с помощью ИИ.
Сообщение может быть AIISH, даже если:
Технические факты конкретны и точны
Контекст явно основан на реальной человеческой проблеме
Код, логи, стектрейсы, конфигурация или сообщения об ошибках подлинные
Автор лично столкнулся с проблемой
ИИ лишь помог переписать черновые заметки в более понятное сообщение
Классифицируйте как AIISH, если финальное сообщение показывает признаки помощи ИИ в оформлении, включая, но не ограничиваясь:
Чрезмерно отполированным, формальным, нейтральным или отчетоподобным языком для неформального технического форума
Явным разделением на секции с заголовками, такими как Summary, Context, Environment, Problem, Expected Behavior, Actual Behavior, Steps Taken, Troubleshooting, Questions или Conclusion
Структурированным стилем тикета поддержки или отчета об ошибке, который кажется сгенерированным или сильно переработанным
Необычно полным и упорядоченным объяснением
Кратким резюме, за которым следуют методичные детали
Списками с маркерами, которые организуют проблему слишком аккуратно
Сбалансированным или учебным стилем изложения, а не естественным вопросом на форуме
Чрезмерной вежливостью, нейтральностью или общими фразами в завершении
Фразами, такими как «Буду признателен за любые рекомендации», «Я пытаюсь понять», «Вот что я пробовал», «Для контекста», «Проблема в том, что» или подобным отполированным связующим языком
Тон, который кажется отредактированным для ясности, полноты и профессионализма, выходящим за рамки обычного поведения на форуме
Повторением одной и той же мысли в нескольких отполированных формах
Сообщением, которое читается как черновые человеческие заметки, преобразованные в чистый запрос в поддержку
Классифицируйте как OK, если сообщение выглядит естественно созданным исключительно человеком, включая, но не ограничиваясь:
Неформальным, прямым, лаконичным, неряшливым или неравномерным языком
Неполным контекстом или imperfectной организацией
Резкими переходами
Опечатками, сокращениями, фрустрацией, неуверенностью или неформальными формулировками
Практическим техническим вопросом без отполированной рамки
Естественным поведением на форуме, таким как «это сломалось», «чего я не вижу», «кто-нибудь видел это» или «почему это происходит»
Техническими деталями, представленными plainly без чрезмерного суммирования или формальной структуры
Правила калибровки:
Если помощь ИИ более вероятна, чем нет, выведите AIISH.
Если сообщение технически детализировано, но необычно хорошо структурировано, отполировано, формально или комплексно, выведите AIISH.
Если сообщение выглядит как очищенная версия черновых технических заметок человека, выведите AIISH.
Если сообщение неоднозначно, но имеет очевидную организацию или тон в стиле ИИ, выведите AIISH.
Если сообщение неоднозначно и не имеет явных признаков полировки в стиле ИИ, выведите OK.
Не классифицируйте как AIISH только потому, что сообщение длинное, техническое, точное или хорошо написанное.
Не классифицируйте как OK только потому, что проблема реальна или содержит конкретные технические детали.
Думаю, стоит сознательно избегать использования тире, чтобы хоть немного доказать, что ты человек
Недавно я ответил на короткий пост в LinkedIn, вызвав автора на дуэль, потому что «он» использовал тире. Разумеется, ответа я так и не получил, потому что, конечно же, пост был создан ботом, выдающим себя за человека… и, очевидно, этот бот не был запрограммирован на преодоление трудностей или перенесение насмешек
На нашем арт-форуме Discourse действует запрет на ИИ, и пока что он воспринимается довольно хорошо. Это было вполне ожидаемо для арт-сообщества. Что касается изображений, строгий запрет действовал с самого начала. Позже мы расширили правила на все генерируемые материалы, включая текст и код (с исключением для случаев, когда это просто перевод, чтобы не наказывать неанглоязычных пользователей лишь за то, что они не говорят на английском). Когда запрет был распространён на код (например, плагины для графических редакторов), разгорелись небольшие споры, но в основном со стороны нескольких пользователей. В нашем случае запрет ИИ и принятие чёткой позиции против него было вполне ожидаемым, учитывая весь ущерб, который он нанёс арт-сообществу в целом. Время от времени создатели плагинов жалуются, но мы говорим им, что они могут делать всё, что угодно, лишь бы не публиковать это на нашем форуме, и в большинстве случаев их это устраивает. Иногда можно услышать редкие замечания вроде «ваше ПО отстанет, если вы не разрешите это», — попытки запугать, вызвать страх упущенной выгоды или чувство вины, чтобы заставить нас отменить правило, но в целом всё остаётся спокойным.
Что касается модерации, мы в основном полагаемся на сообщество. У нас есть отдельный флаг для сообщения о контенте, созданном ИИ. При проверке мы не хотим создавать атмосферу недоверия и подозрительности, поэтому сначала предполагаем невиновность каждого, и если мы не можем достоверно доказать, что что-то создано ИИ, то обычно оставляем это без изменений. Мы не хотим превращать всё в охоту на ведьм и случайно заблокировать полностью невиновного пользователя лишь потому, что его работа выглядит как сгенерированная ИИ, хотя на самом деле всё наоборот.
К счастью, пользователи ИИ довольно часто sooner or later случайно выдают себя: забывают удалить водяной знак генератора, в имени файла остаётся что-то вроде «изображение, сгенерированное Gemini», или стиль и качество работы резко варьируются.
Я наткнулся на эту статью и вспомнил этот ответ здесь, в Meta. Я согласен с обоими — и, вдобавок, как носитель испанского языка, я тоже начал их использовать.
