Блокировка функции «Помощь в написании» от Google

Я только что узнал, что Google выпустила функцию, которая побуждает пользователей Chrome использовать ИИ для написания контента в интернете. :confounded:

Мне кажется, это может подорвать полезность онлайн-сообществ. Пользователи не смогут быть уверены, что общаются не с ботом, который управляется кем-то, кто нажимает кнопки в их браузере, но на самом деле не имеет ничего важного сказать.

Возможно, это можно обнаружить, отслеживая, вставлен ли текст браузером или введён пользователем? Если вставка не зафиксирована, но редактор внезапно заполняется текстом, скорее всего, это сгенерировано ИИ.

Если пост сгенерирован ИИ, ему можно присвоить специальный флаг и, при желании, отправить на модерацию. Администраторы могли бы видеть, сколько постов пользователя выглядят как сгенерированные ИИ. Просто размышляю вслух.

12 лайков

Уже есть детектор «напечатано слишком быстро», который должен ловить копипаст?

Что касается анализа самого контента, вот вам ссылка:

https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text

«По состоянию на 20 июля 2023 года классификатор ИИ больше не доступен из-за низкой точности. Мы работаем над учётом отзывов и в настоящее время исследуем более эффективные методы установления происхождения текста, а также взяли на себя обязательство разработать и внедрить механизмы, позволяющие пользователям понимать, является ли аудио- или визуальный контент сгенерированным ИИ.»

Мне неизвестно о какой-либо замене.

Это сложная проблема.

8 лайков

Существующий инструмент может отлавливать такие случаи при модерации, но администраторы не смогут отличить копипаст (обычно это спаммеры) от контента, вставленного браузером с помощью ИИ (новый тип проблемы с иными мотивами). Не будет возможности просмотреть историю того, как часто пользователь внедряет контент на форум через Chrome или расширение браузера, что затруднило бы выявление тех, кто не пишет собственный текст.

Я представляю пользователей, чья мотивация к участию заключается в получении онлайн-видимости или каких-то «очков». Они зависимы от чтения, но годами лишь наблюдали за обсуждением. Этот инструмент на базе ИИ побуждает их что-то написать, тогда как раньше они были бы довольны тихим чтением.

Я считаю, что если эта функция начнёт широко использоваться, качество контента на форумах постепенно снизится. В лучшем случае это приведёт к общему мнению: «качество форумов уже не такое, как раньше».

Этот спад уже произошёл с всемирной паутиной в целом, и теперь многие добавляют «reddit» к своим поисковым запросам, пытаясь избежать SEO-спама и статей, сгенерированных ИИ.

Если эта функция станет популярной, модерация также усложнится: каждое сообщение, попавшее в фильтр «пользователь печатал слишком быстро», придётся тщательно проверять на наличие ИИ. Модераторы не смогут быстро определить, было ли сообщение «скопировано» (возможно, оно было написано в текстовом редакторе и затем вставлено) или «внедрено через Chrome или расширение» (скорее всего, это ИИ). Если администраторам будет доступна история количества внедрённых сообщений для каждого пользователя, мы сможем принимать такие решения по модерации гораздо проще.

1 лайк

Если у кого-то из вас есть доступ к этой функции, возможно, вы могли бы объяснить или продемонстрировать, какой результат она выдаёт.

1 лайк

Вот скриншот. Открывается окно. Вы указываете, что нужно написать, и если нажать «Вставить», текст отправляется в редактор. Я попросил его написать длинный пост, но он написал только один абзац.

Обычно я не использую Google Chrome, но когда я запустил его, чтобы проверить сайт, автоматически открылась вкладка с рекламой новой функции.

2 лайка

Если сообщение мгновенно отправляется в редактор, флаг для очереди проверки должен срабатывать так же, как если бы текст был скопирован и вставлен из другого источника.

1 лайк

Это может попасть на модерацию, но всё равно нет способа различить разные мотивы пользователей.

Я просто предлагаю, что если люди начнут использовать эту функцию и публиковать посты с помощью ИИ, несколько дополнительных инструментов помогут лучше защищать форумы от этого:

  • Отправлять пост на модерацию даже для доверенных пользователей (или хотя бы помечать его для проверки человеком после публикации).
  • Отмечать вставку текста из инструментов ИИ иначе, чем обычное копирование/вставка.
  • Вести подсчёт для каждого пользователя, сколько раз он вставлял текст в редактор. Пользователь, который давно на сайте и использует функцию один раз, не должен быть большой проблемой, но возможность отслеживать паттерны вставки текста была бы полезной.

Мне не удалось найти документацию, но я крайне подозреваю, что «инструмент ИИ» использует Clipboard API браузера, поэтому веб-сайт не сможет определить источник текста.

1 лайк

Это довольно забавно. Google должен предоставить возможность блокировать это на уровне сайта или домена — аналогично тому, как можно отключить функцию Smart Compose в Google Docs.

Я не против использования ИИ в качестве помощника в написании текстов, но не в таком виде.

2 лайка

Возможно, всё ещё существуют различия, которые можно обнаружить: для вставки курсор должен войти в текстовое поле и нажать клавиши или щёлкнуть правой кнопкой мыши, но при внедрении контента этого не происходит. (Редакция: для использования функции нужно один раз щёлкнуть правой кнопкой мыши. Затем следует пауза, пока вы используете инструмент. После этого происходит внедрение.)

Даже если это не обнаруживается, было бы полезно вести учёт того, какие пользователи копируют/вставляют и как часто. В противном случае модераторы потратят много времени на анализ сообщений и споры с пользователями по вопросам, в отношении которых у них нет доказательств, кроме интуиции. Модерация уже является крайне обременительной задачей.

Спасибо за иллюстрацию, @j127.

Для своего собственного сообщества я хотел бы и дальше разрешать всем пользоваться инструментами перевода на случай, если они не уверены в своих знаниях английского языка, но при этом я не хочу получать пустые и бессодержательные посты от ИИ. Где-то посередине могут оказаться посты, которые автор решил доработать с помощью ИИ — сегодня это распространённая практика: люди используют такие инструменты, чтобы улучшить сопроводительное письмо, документ или презентацию. Думаю, я с этим согласен.

Для меня главное — качество поста: добавляет ли он что-то к обсуждению, выражает ли он мнение, опыт или знания автора.

Сегодня моя позиция строится на двух моментах:

  • быть начеку, чтобы не допустить подобных ситуаций;
  • возможно, опубликовать некоторые рекомендации (или правила), в которых будет изложена наша позиция, чтобы контент, нарушающий их, можно было модерировать без лишнего удивления.

Мне кажется, что автоматическая защита вряд ли будет эффективна, особенно по мере совершенствования инструментов ИИ.

5 лайков

Абсолютно согласен. Уже существует огромное разнообразие моделей ИИ, вариаций их обучения и бесконечное множество вариантов промптов, которые пользователь может предоставить для генерации вывода. Любая стратегия обнаружения контента, созданного ИИ, очень быстро окажется неэффективной.

3 лайка

Однако предложенный мной метод не зависит от способа генерации контента ИИ. Он анализирует способ внедрения контента на страницу и тайминг взаимодействий пользователя. Окончательные решения остаются за модераторами, у которых будет больше информации для их принятия. Это не позволит выявить всё, но поможет отловить многое.

В моём основном форуме спамеры часто создают аккаунты и долгое время делают публикации, притворяясь обычными пользователями. Иногда аккаунты существуют год или два, прежде чем они начнут внедрять спам-ссылки. Они ничего интересного не пишут, но и не нарушают правил, поэтому сразу забанить их нельзя. У нас нет достаточно времени, чтобы пообщаться с каждым индивидуально и проверить, являются ли они легитимными пользователями. Это одна из групп, которая меня беспокоит.

Возможно, эта функция Google Chrome не приживётся, но существует риск, что она окажет огромное негативное влияние на форумы в целом: увеличит нагрузку на модерацию и снизит общественное восприятие их ценности из-за роста количества пустого контента, созданного ИИ, который лишь едва проходит проверку.

Если она приживётся, не будет способа отличить пост, созданный ИИ, от поста пользователя, который просто пишет не очень хорошо, но всё ещё находится в пределах допустимого контента. Попытки принимать такие решения по модерации без данных могут превратиться в непосильную ношу для администраторов. Если модератор примет неверное решение или обвиняемый солжёт об использовании ИИ, это может привести к отнимающим много времени перепалкам с пользователями.

Возможно, ещё слишком рано добавлять функцию для защиты от этой проблемы, но я надеюсь, что Discourse будет держать её в поле зрения.

Хочу лишь отметить, что мы действительно внимательно следим за этой сферой.

Нам нужны истории успеха и неудач от сообществ, чтобы помочь определить стратегии.

Здесь огромный спектр вопросов:

  • Проверка орфографии и стиля+++ … должно ли это быть запрещено? Если ИИ делает моё письмо немного понятнее, действительно ли это преступление, что он что-то убрал?
  • Многоязычные истории … не было бы ли чудесно, если бы появились по-настоящему многоязычные форумы? Не все говорят на превосходном английском.
  • Является ли преступлением иметь напарника для мозгового штурма, чтобы обсудить идеи перед публикацией.

Я действительно считаю, что есть смысл в улучшении модерации … безусловно. Система флагов жёлтого / оранжевого / красного цвета могла бы быть интересной … безусловно.

5 лайков

Моя претензия к помощнику Google по написанию текста на базе ИИ касается его интерфейса. Он генерирует ответ и отображает большую кнопку «Вставить». Немного более продуктивный способ использования ИИ как инструмента для письма — это вести с ним диалог о том, что вы пишете.

2 лайка

Да, я полностью с этим согласен. У нас могут быть детекторы ИИ, но почему потребовалось 15 минут, чтобы кто-то указал на руководство, сгенерированное ИИ* (на форуме, откуда я)? Это может быть отключено, но это обесценивает тяжелый труд людей в пользу ИИ. Фактически, у нас уже было два случая с ИИ-генерированными руководствами и один случай с пользователем, сочетающим ИИ и человека.

*

На том форуме у нас были негативные столкновения с ИИ в июне, и большинство из нас верит в самостоятельную работу (а именно, в написание руководств).

1 лайк

Спасибо, что держите руку на пульсе.

Я не против ИИ — я против контента, сгенерированного ИИ, который выдается за написанный человеком.

В моем основном форуме мое правило касательно контента от ИИ таково: можно публиковать идеи из таких инструментов, как ChatGPT, если они четко помечены как полученные от ChatGPT. Люди могут публиковать часть вывода от ChatGPT, который становится основой для разговора между людьми. Однако комментарии от роботов, выдающих себя за людей, запрещены.

Я думаю, что расширения вроде Grammarly активируются для конкретных сайтов и работают с текстом, который уже был введен непосредственно в текстовые поля, поэтому их нельзя будет определить как внедрение ИИ.

Если кто-то использует отдельное приложение для проверки грамматики вместо расширения браузера, то такие действия, как Ctrl+V (или Command+V, или правая кнопка мыши и вставка), будут обнаружены, что отличит их от прямого внедрения ИИ.

Кажется, что идеально, если люди пишут контент на своих родных языках, а затем ИИ, работающий на форуме, выполняет перевод. Технологии перевода будут продолжать совершенствоваться, поэтому публикация пользователями сообщений на их родных языках, вероятно, приведет к лучшему качеству перевода в долгосрочной перспективе.

Я думаю, что внедрение пользователями контента на иностранных языках с помощью ИИ, скорее всего, сделает еще более важным знать, был ли контент внедрен с помощью инструмента ИИ. В настоящее время обычно не сложно обнаружить контент от ChatGPT на английском языке просто при чтении, но сгенерированный ИИ контент на других языках, вероятно, не будет обнаруживаться, за исключением мониторинга взаимодействия пользователей со страницей.

Интересно, составляют ли люди, которые так делают, очень небольшой процент пользователей ИИ. Если кто-то проводит мозговой штурм с ИИ в другом окне, а затем вставляет текст, нажатия клавиш/клики будут обнаружены. Инструмент Google не занимается мозговым штурмом, а просто автоматически генерирует контент.

Обнаружение текста, сгенерированного ИИ, то есть способность отличать текст, написанный машиной, от текста, написанного человеком, зависит от нескольких факторов, и язык — один из них. Английский язык давно находится в центре исследований и разработок в области ИИ, что означает, что модели на английском языке обучались дольше и часто являются более совершенными. Это может привести к тому, что текст на английском языке, сгенерированный ИИ, будет более беглым и труднее поддаваться распознаванию по сравнению с другими языками.

С другой стороны, по мере развития моделей ИИ и их обучения на многоязычных данных их способность создавать правдоподобный текст на других языках улучшается. Многоязычные модели, такие как GPT-3 и её последователи, продемонстрировали способность создавать беглый текст на нескольких языках. Это означает, что разрыв в сложности обнаружения текста, сгенерированного ИИ, на разных языках со временем может сократиться.

Обнаружение текста ИИ также зависит от других факторов, таких как контекст текста, сложность темы и способность самого читателя распознавать неестественные выражения или повторяющиеся паттерны в тексте. Кроме того, специфические для языка особенности, такие как грамматика и лексика, могут влиять на то, насколько легко или сложно распознать текст, сгенерированный ИИ.

Да, это было сгенерировано ИИ, и изначально на финском языке. Финскую версию было легко обнаружить вручную, потому что никто так не говорит. В остальном всё было на высоте, но тон был странным.

Затем я прогнал его через DeepL, чтобы получить английскую версию. Даже я сразу вижу, что высока вероятность того, что это написано ИИ.

Моя слабость в том, что когда каждое решение ИИ одинаково плохо в создании текста, который может обмануть носителей языка, то ИИ совершенно бессилен различить разницу.

(И я немного смущён, почему это так плохо, даже на английском).

Так что же остаётся? Обнаружение уже упомянутых приёмов копирования, например.

Мне неважно, сколько грамматических ошибок я допускаю или как неправильно использую предлоги; обычно меня понимают достаточно хорошо, но иногда может возникнуть ситуация, когда я хочу или должен написать на максимально чистом английском. Тогда я могу попросить ИИ исправить мой текст или использовать DeepL для перевода его на английский.

Как вы думаете, откуда этот текст здесь? :smirking_face: Именно. И если в этот момент какая-то другая автоматическая система скажет мне, что мой текст помечен как скопированный (ctrl-v), потому что

  • я перевёл его где-то ещё
  • я создал этот текст, используя PM здесь, как рекомендовано

я бы действительно разозлился.

Ещё раз: я просто ещё один конечный пользователь, но не вижу, как мы можем выиграть эту игру. Та же проблема, что и с изображениями, созданными ИИ.

Иногда мы обнаруживаем, что ищем технические решения для социальных проблем. В данном случае социальная проблема заключается в низком качестве материалов: политика, подкреплённая действиями модераторов, должна работать… если бы не проблема масштаба.

Я управляю небольшими форумами, поэтому это не моя проблема. Небольшой форум может превратиться в большой, и можно было бы позволить этому произойти без масштабирования модерации и системы флагов от пользователей. Ваши пользователи должны быть внимательны к некачественному контенту, а ваши модераторы должны реагировать на флаги.

Я думаю — надеюсь — что нам удастся избежать наводнения постами от ИИ, не лишая людей возможности использовать автоматический перевод. Нам не нужен 100% успех — нам нужно поддерживать качество контента на форуме на уровне, который устраивает пользователей, чтобы они продолжали возвращаться, вносить свой вклад и помогать с флагами.

2 лайка

Обнаружить это только по отдельным сообщениям будет непросто, поэтому я предложил вести статистику о том, как часто пользователи это делают — возможно, отслеживая такие действия, как Ctrl+V, правые клики, переключение фокуса на вкладку и вставку текста (с отдельными оценками). Цель — выявлять паттерны поведения пользователей, чтобы, когда придет время им противостоять, у нас были доказательства, а не просто догадки.

Окончательные решения о модерации всё равно будут приниматься людьми, но главное отличие в том, что у этих людей будет больше данных, чтобы принимать решения быстрее и точнее. Не каждый случай требует вмешательства, но некоторые — да.

Могут существовать способы обнаруживать разные виды мотивации. Например, сообщение, в котором редактор был открыт долго, а после потери фокуса вкладки произошло много вставок, вероятно, не является результатом инъекции текста с помощью ИИ.

Данные, которые предоставляет Discourse, уже значительно упростили процесс модерации — даже такие базовые вещи, как местоположение IP-адреса в сочетании с именем пользователя, содержимое первого сообщения, скорость набора текста, typing_duration_msecs, composer_open_duration_msecs и т. д.

Я считаю, что несколько дополнительных полей были бы полезны, если функция от Google станет популярной. Даже если Discourse не создаст сложный детектор для ИИ, сбор этих данных в базе данных может облегчить разработку плагинов другими людьми.


Раньше я этого не замечал, но только что увидел здесь всплывающее уведомление об «ИИ», которое переводит текст на английский. Лично я в своём форуме не стал бы делать это таким образом. Я бы позволил пользователям писать на своих родных языках как исходный контент, а затем запускал бы переводчик перед тем, как показать это другим пользователям. Именно это я имел в виду выше в своём комментарии о том, что будущее программное обеспечение для перевода будет лучше сегодняшнего. Сохраняя родной язык пользователя, можно будет применять более совершенные инструменты перевода 2030-х и 2040-х годов, и пользователи, говорящие на этом языке, смогут читать контент без необходимости переводить его на английский и обратно.