Форумы, запрещающие ИИ-контент… Как оно?

Создание сообщества
1

Мне было бы очень интересно узнать о опыте форумов, где запрещён контент, сгенерированный ИИ/LLM. Как вы доводите это до сведения пользователей? Как вы выявляете такие материалы? Как вы взаимодействуете с пользователями, которые всё равно публикуют их?

Буду рад любым мыслям.

Примечание: Лично меня интересует только человеческий аспект взаимодействия на фронтенде сайта. Я предполагаю, что блокировка краулеров — дело безнадёжное.

Наш форум посвящён духовным и религиозным обсуждениям. Мы баним любой контент, созданный ИИ.

8 лайков
2

Большинство, если не все, тексты, созданные ИИ, можно легко обнаружить просто прочитав их. Технология SynthID от Google — это крутой инструмент для обнаружения изображений, созданных ИИ, и, по их утверждениям, она способна обнаруживать и тексты, вероятно, написанные только Gemini, но OpenAI также поддерживает этот стандарт. Способность лично распознавать такие тексты, вероятно, является приобретенным навыком, но я ценю работу, которая проводится для решения текущего кризиса, связанного с невозможностью обнаружения изображений или текстов, созданных ИИ.

По моему мнению, для этого по-прежнему правильным путем является блокировка (muting) или приостановка доступа, особенно если аккаунт новый. Если какой-то новый аккаунт присоединяется к вашему сайту и мгновенно публикует тему, сгенерированную ИИ, я не вижу причин, почему бы вам не просто приостановить работу этого аккаунта и заблокировать его.

Что касается всей проблемы со скрейпингом (сбором данных): мой сайт предназначен для внутренней коммуникации и документирования в небольшой компании на данный момент, и я планирую в будущем использовать его как бэкенд для ведения блога. Не составило труда настроить приманку (honeypot), чтобы отпугнуть роботов, которые игнорируют файлы robots.txt на моих доменах.

image
image844×158 30.3 KB

Только эта тактика привела к примерно 6 МИЛЛИОНАМ запросов за две недели (около 6 запросов в секунду к домену):

image
image849×220 23.9 KB

Когда ИИ-краулер посещает этот сайт, его направляют в бесконечный лабиринт спама с использованием проекта iocaine, размещенного на собственном сервере, с набором данных примерно из ~7000 вымышленных слов, некоторым бессмысленным HTML, случайными словами и фейковыми новостями, созданными 8-миллиардной моделью Llama.

image
image1848×499 103 KB

Очевидно, что это ядерная тактика «уйди», и она подходит не всем, но она отлично помогла мне в моей цели — остановить LLM от использования моего кода или текстового контента. Я помню, как читал кейс-стади, которое Anthropic опубликовал о «отравлении» LLM, но я больше не могу найти эту статью, поэтому здесь она не прилагается, но, вероятно, в какой-то момент им придется заблокировать мой домен, когда они поймут, что их бот отправил на мой домен около 5 миллионов запросов, как это было недавно.

7 лайков
3

(Я замечаю, что мы оставляем в стороне вопрос о нагрузке на краулеров, использовании краулерами контента для обучения, а также социальные и экономические последствия текущих стремительных изменений. Это хорошо.)

Что касается меня, на сайте с небольшим объемом трафика, посвященном хобби:

  • мы пытаемся согласовать и сформулировать письменную политику;
  • мы решаем проблемы по мере их возникновения;
  • самые вопиющие примеры по сути являются спамом, поэтому мы удаляем их и блокируем авторов;
  • в остальных случаях мы выражаем неодобрение, возможно, публично или приватно, и можем удалять сообщения.

Предлагаемая форма руководящих принципов может выглядеть так:

  • «Владеть» контентом сообщений, которые вы публикуете (т.е. читать и понимать его, а не слепо копировать и вставлять контент, независимо от его источника).
  • Пытаться сначала самостоятельно ответить на свои вопросы насколько это возможно (например, поиском по форуму), прежде чем создавать новые темы.
  • Излагать детали кратко и ясно, чтобы другие пользователи могли прочитать и понять их и оказать помощь, т.е. избегать длинных стен текста, состоящего из повторяющейся или нерелевантной информации, или слишком общих утверждений без достаточной информации.
  • Держать обсуждения в рамках темы, избегать мета-обсуждений (особенно вокруг использования ИИ — будь то «лучшие практики» или «этика их применения»).
  • Поддерживать уважительный тон общения и помнить, что у нас есть пользователи с разным опытом, взглядами и мнениями.
  • Получайте удовольствие! Это хобби.

(В нашей среде увлечений есть дополнительный аспект, а именно использование LLM в рамках хобби, что охватывает спектр возможностей и имеет как своих сторонников, так и противников.))

4 лайка
4

Этот пример не касается Discourse, но вопросы политики и управления, безусловно, пересекаются.

Как английская, так и немецкая версии Википедии теперь имеют то, что я бы описал как крайне строгие правила в отношении чистоты контента, созданного ИИ. Будучи редактором с 16-летним стажем, я был необоснованно обвинён в добавлении контента, сгенерированного ИИ, в статью, которую я написал в основном сам. Процесс поиска решения оказался крайне изматывающим. Это включало подачу официальных жалоб в Комитет по арбитражу английской Википедии (ArbCom) и Группу доверия и безопасности Фонда Викимедиа (WMF TST) — на данный момент они были либо отклонены без рассмотрения, либо отвергнуты без объяснения причин.

Я не хочу пересказывать свой опыт здесь, отчасти потому, что он ещё продолжается. Однако я бы призвал читателей ознакомиться с этим необычным обменом мнениями, касающимся статьи английской Википедии о пещере Фёрн, месте культурного значения для народа модоки в Калифорнии:

Обвиняемый автор был вынужден четырежды отрицать использование ИИ. При этом его знания коренных народов также были обесценены. Редактор, осуществляющий контроль, завершает своё замечание фразой, которая внешне напоминает обеспокоенность, но может быть истолкована и как завуалированная угроза наложить санкции в случае невыполнения требований.

Подобные психологические тактики регулярно применяются контролирующими редакторами, и у меня есть доказательства других подобных случаев.

Если вы посмотрите на исходный код разметки в том же обмене мнениями, то обнаружите ловушку-«горшочек» с font-size: 0pt, созданную для выявления использования ИИ обвиняемым автором при составлении ответов. Эта ловушка не сработала.

Существуют достоверные сообщения о нескольких редакторах, покинувших немецкую Википедию после того, как их «несправедливо атаковали» из-за предполагаемого использования инструментов ИИ.

Отвечая на исходный вопрос, заданный в этой теме, я считаю, что английская и немецкая версии Википедии катастрофически не справляются со своим управлением множеством способов в своих попытках бороться с контентом, созданным ИИ. Я задокументировал три тематических исследования в своём недавнем 17-страничном отчёте для команды WMF TST. Возможно, я опубликую этот PDF-файл в ближайшее время.

3 лайка
5

Я категорически не согласен, исходя из своего опыта работы в Википедии на английском языке (подробнее об этом я писал в других обсуждениях по этой теме). Я считаю, что такой подход в основном представляет собой псевдонауку, смешанную с высокомерием. Более того, опровергнуть такие методы обнаружения невозможно — и, что ещё важнее, редакторы Википедии, часто действующие согласованно, просто упираются при любых возражениях.

Обвиняемый редактор оказывается перед лицом обратного бремени доказывания и обвинений, которые невозможно опровергнуть — даже при наличии самых убедительных доказательств обратного. Естественная справедливость исчезает. Это не тот вид управления сообществом, который обычно оказывается эффективным.

Я знаю это не понаслышке. Я сам проходил через этот процесс. Это отвратительно. Должен существовать лучший способ.

4 лайка
6

Актуальные материалы, особенно вторая статья, открыли мне глаза при первом прочтении. Думаю, это в какой-то степени относится и к вам, @robbie.morrison. Некоторые люди «просто пишут так».

И я пришёл к такому тезису: я не пишу как ChatGPT. ChatGPT своим странным, лишённым тела, глобально ориентированным способом пишет как я. Или, точнее, он пишет как миллионы нас, кого пропустили через очень специфический образовательный и социальный конвейер, конвейер, намеренно созданный, чтобы стирать двусмысленность и придавать нашим мыслям очень определённую, очень формальную и очень впечатляющую форму.

8 лайков
7

Да, предвзятость по отношению к тем, для кого английский не является родным, — одна из моих главных тревог.

Также это не сообщество Discourse, но это интересное чтение: Круглый стол по правилам XXI.V: Плагиат, честность и генеративный ИИ. Это из сабреддита AskHistorians. Для тех, кто не знаком: это, пожалуй, одно из самых строго модерирруемых сообществ на Reddit. Они практически допускают только ответы академического уровня на вопросы.

2 лайка
8

На Reddit-сообществе AskHistorians по-прежнему сохраняется предвзятость «стреляй первым», за которой следует обратное бремя доказывания для обвиняемого (но, безусловно, больше процессуальных гарантий, чем в Википедии/Фонде Викимедиа):

Если вы не укажете, что использовали ИИ для генерации ответа, и мы будем подозревать, что вы используете ИИ нарушением правил, вас заблокируют. Однако каждому, кто был заблокирован за использование ИИ, сообщают, как подать апелляцию. Это кажется суровым, но одна из наших причин — перенаправить людей в modmail, чтобы мы могли провести обсуждение и избежать публичного разбирательства, которое может привести к травле.

Возможно, это единственная рабочая стратегия на данный момент? Но это едва ли соответствует принципам естественной справедливости.

4 лайка
9

Да, я полагаю, этот сабреддит никак не связан с «сообществом». Они безжалостны в том, что принимают, независимо от того, использован ли ИИ или нет.

Но вообще обвинения кого-либо в использовании ИИ чреваты последствиями.

2 лайка
10

Я использовал тире с незапамятных времён, а теперь не могу, потому что люди подумают, что это ИИ. Прощай, длинное тире.

3 лайка
11

Да, действительно, любой, кто использует Markdown и пишет качественный пост, может вызвать подозрения.

3 лайка
12

тоже! Я годами злоупотреблял длинным тире, пока не появился ИИ и не забрал его себе :lolsob:

4 лайка
13

Я делаю слишком много ошибок, чтобы меня ошибочно приняли за ИИ :face_with_peeking_eye:

Странно, но я заметил, что стал чаще добровольно не исправлять мелкие ошибки, которые замечаю в своих сообщениях (даже на французском, моем родном языке). Мне кажется, что оставление этих несовершенств делает то, что я пишу, более аутентичным и придает этому больше индивидуальности. Люди потенциально могут опознать сообщение как мое именно по этим ошибкам или странно написанным предложениям. Кроме того, это меньше утомляет психически — не пытаться сделать всё, что я пишу, идеальным (что бы это ни означало).

2 лайка