Касательно людей, которые отвечают, копируя и вставляя текст из ChatGPT, вот один любопытный пример реакции сообщества:
Я также наблюдаю это на форумах, где я бываю чаще всего (они довольно технически ориентированы). Один конкретный новый пользователь публикует по 8–9 ответов в день, и все они сгенерированы ChatGPT.
Там много ценной информации, но также есть неточности и откровенно вводящие в заблуждение сведения (представьте сложный список из 7 шагов: я смотрю на шаг 6 и сразу понимаю, что он никогда не сработает… но многие этого не замечают).
Кажется, этот пользователь пытается набрать репутацию… Мы рассматриваем возможность попросить людей всегда явно помечать контент, созданный ChatGPT, как таковой. Это просьба, на которую мы можем лишь надеяться, что они выполнят, но реально принудить их к этому мы не сможем.
Это меня беспокоит. Мне кажется, это не приведёт нас к чему-то хорошему. Я боюсь, что бессмысленные разговоры просто захватят интернет. Возможно, нам придётся вернуться к реальной жизни в реальном мире, и я не уверен, что мы сможем с этим справиться…
Мой старший сын с удовольствием присылает мне статьи и посты, демонстрирующие нелепости чат-ботов. Я постоянно говорю ему, что технология чат-ботов во многих областях, например в математике, сейчас находится примерно на уровне второго или третьего класса. Как выразился один из моих профессоров много лет назад: «Оно не знает, чего не знает».
Я ещё не просил его рецепт выпечки торта — боюсь представить, что он может напутать. (Я видел слишком много рецептов, размещённых людьми в интернете, которые совершенно нерабочие.)
Полагаю, бессмысленные беседы захватили интернет ещё с появлением Facebook и Twitter. Те из нас, кто достаточно стар и помнит USENET, когда его ещё можно было справедливо назвать видеоигрой для людей, умеющих читать, могут провести эту черту ещё дальше в прошлое.
Мы прямо сейчас это ощущаем — управляем бесплатным и открытым форумом на Discourse и видим, как очень много спам-ботов в стиле ChatGPT проскальзывают мимо существующей защиты от спама.
Akismet пока не успевает за ними: я никогда не видел, чтобы столько спам-аккаунтов проходило проверку. Они обычно оставляют комментарии, которые на первый взгляд безобидны: отвечают на вопрос (или перефразируют его, а затем дают ответ) довольно пространным текстом, который кажется полезным, но в котором не хватает контекста или нюансов исходного вопроса.
Я предполагаю, что форумы на Discourse становятся полигоном для атак по тем же причинам, что и сайты на WordPress десять лет назад: это технологии с открытым исходным кодом, широко распространённые, поэтому боты, способные пройти процесс регистрации на одном форуме, вероятно, получат доступ ко многим другим.
Сейчас мы не наблюдаем типичного поведения спам-ботов (создание аккаунта, публикация достаточно безобидного сообщения, чтобы обойти антиспам-меры, а затем его редактирование в течение 48 часов для добавления ссылок), поэтому я не уверен, какова конечная цель. Возможно, мы просто слишком быстро удаляем такие сообщения, и они позже будут отредактированы в фермы обратных ссылок.
Мне кажется, обязательная двухфакторная аутентификация должна отсеять большинство ботов. Что вы думаете по этому поводу?
В противном случае я бы, вероятно, попросил пользователей заполнить форму в Typeform после создания аккаунта и добавил их в группу «проверенные» через вебхук при отправке формы, сделав форум доступным только для чтения для всех, кто не прошел проверку.
Тем не менее, учитывая, что боты теперь могут просматривать веб-страницы и понимать назначение кнопок, мне кажется, что это лишь временное решение.
Ещё одна причина проявлять осторожность при использовании технологии ChatGPT.
Калифорнийский профессор права был включён в список юридических учёных, обвинённых в сексуальных домогательствах, сгенерированный ChatGPT. ChatGPT в качестве источника указал статью газеты The Washington Post.
Проблема в том, что такой статьи в The Washington Post не существует, и никаких обвинений в сексуальных домогательствах против этого профессора права никогда не выдвигалось.
Все могут выдохнуть с облегчением: Министерство торговли объявило о планах обеспечить наличие у ИИ соответствующих «ограничителей».
Из WSJ:
«Удивительно видеть, на что способны эти инструменты даже на относительно раннем этапе их развития», — сказал Алан Дэвидсон, возглавляющий Национальное управление телекоммуникаций и информации, агентство Министерства торговли, которое опубликовало запрос на предоставление комментариев. «Мы понимаем, что необходимо внедрить определенные ограничительные меры, чтобы гарантировать их ответственное использование».
Да… если бы текст всё ещё писался самими участниками.
А это, скорее всего, уже не так — всё чаще и чаще. Вот в чём проблема.
ИИ может усугубить всё то, что вы описали, делая ситуацию всё хуже и хуже, а обнаружение — всё сложнее.
Одно дело — авторы книг. Совсем другое — не понимать, с кем именно ты имеешь дело в онлайн-обсуждениях. Все подсказки, которые должны быть получены из текста, искажаются, если текст написан не самим человеком, а с помощью ИИ.
Это вопрос, который полностью зависит от ниши. Мои круги тесно связаны с питанием и кормлением собак. Я сразу вижу, если текст сгенерирован ИИ — потому что ИИ думает, что миллион мух не могут ошибаться.
То же самое заметно, когда речь идет о походах, гребле и т.д.
Так что все зависит от того, в какой секторе было написано большинство текстов для веба. Вот почему все, кроме программистов в моем кругу друзей/сообщества, считают ИИ просто еще одним хайпом — пока что, во всяком случае
У меня первый случай, когда пользователь, вероятно, использует ChatGPT для составления аргументированных ответов. Этот человек уже был на грани троллинга, и меня не радует такое развитие событий.
Другой пользователь использовал новое расширение для Chrome для идентификации:
Пока неясно, насколько хорошо работает это расширение — оно, кажется, по умолчанию ставит отметку «человек» при недостатке данных, но может пропускать определённые типы или стили сгенерированного ИИ текста (например, лимерики, созданные ChatGPT).
Мой текущий план модерации, если это вообще можно так назвать, заключается в том, чтобы позволить другим пользователям выявлять и указывать на подобные нарушения, полагаясь на социальное давление как сдерживающий фактор. Пока не знаю, что ещё можно сделать.
Если это произойдёт на моём форуме, я хочу чётко дать понять, что публикация сгенерированного машиной текста без соответствующего обозначения является основанием для жалобы. По сути, это обман, что противоречит правилам.
В принципе я согласен, но критерии выявления сгенерированного машиной текста постоянно меняются. Хорошая новость в том, что расширение для Chrome пока не дало ни одного ложного срабатывания, хотя тестирование было очень ограниченным. Плохая новость — это дополнительная работа для модераторов по принятию решения и необходимость следить за самыми актуальными инструментами детекции, поскольку сгенерированный ИИ текст становится всё лучше и лучше. В конце концов сгенерированный ИИ текст достигнет такого уровня, что его обнаружение станет проблематичным.
Действительно, но я рассматриваю это как проблему модерации. Наши человеческие модераторы уже следят за сообщениями, которые являются конфронтационными, грубыми, оскорбительными, повторяющимися или вводящими в заблуждение. Это продолжение той же практики: при наличии местной культурной нормы, согласно которой реальные люди не публикуют текст, созданный машиной, без предупреждения, всё, что выглядит (или пахнет) как машинный текст, особенно от относительно нового пользователя, автоматически вызывает подозрения.
Я считаю, что человеческий мозг, особенно мозг модератора, со временем станет достаточно хорошим в распознавании текста, созданного машиной. Когда машинный текст будет неотличим от полезного сообщения, продвигающего разговор, у нас больше не будет проблемы. (Люди, делающие низкокачественные и малоценные посты, возможно, будут наказываться.)
А что насчёт остальных? И согласуются ли их ответы друг с другом 
