Как вы справляетесь с пользователями, которые используют ИИ для автоматических ответов в темах, чтобы повысить уровень доверия?

Создание сообщества
1

Этот вопрос для всех владельцев и модераторов форумов. Каково ваше мнение о пользователях, которые используют ИИ для автоматического просмотра форума, автоматического чтения последних комментариев и автоматической генерации ответов в тему? Они делают это, чтобы не участвовать в форуме по-настоящему, потому что хотят повысить свой уровень доверия и получить доступ к разделам, доступным только для пользователей с высоким уровнем доверия.

Вы активно преследуете таких пользователей? Как вы понимаете, что текст написан ИИ? Или вы закрываете на это глаза?

3 лайка
2

Ситуация может стать ещё более нечестной. Я видел посты, в которых один аккаунт-марионетка создаёт новую тему с помощью ИИ, а спустя короткое время новый пользователь (вероятно, принадлежащий тому же человеку) отвечает, соглашаясь с автором и хваля его.

4 лайка
3

Я такого поведения не встречал, но с моей стороны это было бы баном. Если бы они были активными членами сообщества, я бы ограничился предупреждением, но, судя по всему, они никогда не вносили вклада.

Думаю, было бы полезно иметь явную политику в отношении контента, созданного с помощью LLM.

6 лайков
4

ну, как я считаю, стоит подходить к этой проблеме: вопрос в том, насколько вы цените свой контент, доступ к которому ограничен уровнем доверия, и насколько вы цените сам доступ к этому контенту.

Если это контент, доступ к которому вы не хотите предоставлять людям, «обманывающим систему», я бы попытался найти способ предотвратить такое поведение.

Причина в том, что такое поведение распространено повсеместно. Смотрите пример Роберта:

ах… это происходит здесь… каждый день

В общем

часто для человеческого модератора это довольно очевидно просто по прочтению, но это требует времени модератора. Некоторые администраторы используют ИИ для обнаружения ИИ (смешно, не правда ли?)

см. похожее обсуждение здесь:

4 лайка
5

Если вам удаётся определить, какие user-agents используются, или если они соблюдают стандарты управления, вы можете рассмотреть возможность их блокировки, ограничения частоты запросов или использования llms.txt.

Это работает только в том случае, если автоматизированные системы ведут себя как джентльмены.

Если определённые регионы вызывают проблемы, всегда можно использовать гео-блокировку.

Я использую AI-агента для проверки новых пользователей и пользователей с низким уровнем доверия. Его точность составляет более 95%.

Всё зависит от того, насколько хитрыми являются злоумышленники, но при должной работе и тестировании вы можете оказаться хитрее :wink:

4 лайка
6

Мы тоже довольно часто с этим сталкиваемся. Конечно, я не могу утверждать, каковы истинные мотивы, но по моему опыту это гораздо менее интересно, чем попытки «завоевать доверие». Я думаю, что это просто спам.

Сейчас к спаму также относятся датасеты для обучения ИИ и GEO — когда им выгодно просто упоминать продукт, услугу или компанию по всему интернету.

Иногда цель — набрать достаточно доверия, чтобы вставить ссылку, но я подозреваю, что ссылки теперь играют второстепенную роль.

Пока что признаки были довольно очевидными — мой «честный взгляд» таков, что «несущие швы» (то есть места, где текст собран из разных источников или сгенерирован) видны отчётливо. Я ставлю тему на паузу и отправляю пользователю дружелюбное (но шаблонное) личное сообщение с приветствием и просьбой просто ответить мне, чтобы вернуть тему в работу.

Никто никогда мне не отвечал.

4 лайка
7

Как предложил кто-то другой, возможно, вам стоит пересмотреть ценность вашего контента, доступ к которому ограничен, и относительную ценность вкладов пользователей в форум. Есть ли у людей, у которых нет доступа к ограниченному контенту, знания или навыки, необходимые для того, чтобы вносить осмысленный вклад? Возможно, стоит изменить требования для перехода на новый уровень доверия так, чтобы публикация мусора не помогала, и каким-то образом сделать это очевидным, чтобы люди не были склонны к подобным действиям.

До появления ИИ могли ли новые пользователи вносить осмысленный вклад и переходить на следующий уровень доверия?

4 лайка
8

Удивительно или нет, но я использовал ИИ-помощника для проверки сообщений здесь, чтобы определить, написаны ли они ИИ (отчасти для теста, отчасти для развлечения), после того как сам уже решил, действительно ли это так. И вот! Оказалось, что он удивительно точно определяет, написано ли сообщение ИИ или человеком.

Если было очевидно, что пользователь использует ИИ, чтобы буквально «играть» на форуме, я бы предложил выдать одно-два предупреждения, а затем, возможно, заблокировать его на несколько дней.

1 лайк
9

Я бы вернулся к первичным принципам: является ли создаваемый ими контент ценным для более широкого сообщества? Если да, то имеет ли значение, как он создаётся? Если нет, то решайте эту проблему. Если кто-то использует альтернативные аккаунты и создаёт тонны мусора, последствия должны быть одинаковыми, независимо от того, используется ли ИИ или человек, верно?

6 лайков
10

Наше сообщество находится в режиме ожидания, и я много думал об этом, потому что в наше время почти никто не уважает правила или принципы. Поэтому я внедрил собственную систему уровней доверия / кармы, где пользователям необходимо выполнять определённые (человеческие) квесты, чтобы получить доступ.

Мы начнём с низкого порога, но если я увижу то поведение, о котором вы упомянули, я повышу его, чтобы автоматизация и/или использование LLM стали скучными, раздражающими или практически невозможными.

Наше сообщество основано на взаимодействии людей. Мы покинули Discord, потому что их централизованная система не соответствует нашей философии. Я также ожидаю, что однажды появятся живые камеры, генерируемые ИИ, и мне нужно продумать, что делать с ними.

Я модерировал и управлял несколькими форумами за свою интернет-карьеру и на собственном опыте узнал, что принудительные или карательные меры обычно дают обратный эффект. Они должны быть крайней мерой, всегда.

Знаете, принцип «не подкармливать тролля» действует везде.

3 лайка
11

Честно говоря, меня беспокоит, что система TL начинает давать сбои, ведь она является основой нашей многоуровневой защиты. Я не наблюдаю ничего подобного здесь, на meta — неужели вы настраивали свои параметры обнаружения спама ИИ или настройки TL?

3 лайка
12

Буду честен и позволю своей внутренней «киноманке 90-х» продолжить писать: я перезапускаю нишевое сообщество из Латинской Америки, которое откроется для всего мира, потому что считаю, что форумы должны выжить, и через пару лет мы — люди — будем составлять всего 0,5–1% населения планеты.

Digg исчез, Stack Overflow — тоже. Reddit больше не управляется людьми. Я был там и вышел, когда увидел, какое чудовище надвигается. Ограничения на API, бан альтернативных клиентов, куки повсюду, капчи, которые требуют от человека «доказать, что он не бот», отпечатки пальцев при каждом взаимодействии и так далее.

Перезапуск нашего сообщества откроет нам путь для спам-ботов, но я ожидаю больше атак на нашу инфраструктуру, потому что мы (я) любим всегда хостить сами. Поэтому я решил забыть обо всём, что касается SEO, ограничить всё, что можно, сохранить взаимодействия между «нами», научиться шифровать, распространять контент в децентрализованных сетях и использовать Tor, где Discourse можно использовать через Dumbcourse.

Это последняя линия обороны, и сейчас она не обязательна, но моя антиутопическая (возможно, безумная в глазах тех, кто слушает или читает) сторона всегда на подхвате, понимаете? Мы видим это в фильмах: агенты, паутины, полный контроль и иллюзия над почти всеми.

Вернемся к Discourse. Я не ожидаю спама, потому что мы делаем что-то необычное и вне рамок того, за чем следует большинство. Но я ожидаю, что многие пользователи будут пытаться использовать ИИ в своих взаимодействиях, чтобы казаться лучше, чем они есть. Это не только невозможно, но и самое худшее решение, которое можно принять, желая стать лучше.

Так что мы переходим от эмоциональной толпы, следующей за лидером, к заслуживающей доверия группе модераторов, которые держат агентов подальше. Я считаю, что система уровней доверия в Discourse была отличной, но мир, каким он является сегодня, этому не способствует; людей приучили получать всё мгновенно и получать взамен почти ничего ценного.

Моё решение сделать систему в старом стиле, а не общую систему значков/доверия, уберёт весь шум, и я думаю, что я выбрал лучшую платформу для форума, которым управляет лучшая команда в мире. Посмотрим, куда всё это приведёт.

Я прочитал вашу статью и ту про митоз или токсичную фрагментацию. Всегда прекрасно читать то, что люди пишут из того, что они действительно переживают и чем владеют. Я приятно удивлён, что вам известна теория «мёртвого интернета». Теперь это так.

1 лайк
13

Ещё раз про спам. Примерно два года назад мы перешли на Discourse с устаревшей и умирающей платформы, которая была ужасна во всех отношениях. Спам было невозможно контролировать.

Discourse взял ситуацию под контроль: когда была включена AI-детекция, это стало настоящим прорывом.

Я не припоминаю ни одного топика, который бы прорвался. Есть несколько ложных срабатываний для новых участников, но ничего серьёзного, и эта цена ничтожна по сравнению с тем, что было раньше.

Мы смогли заблокировать несколько географических зон, из которых создавалось огромное количество аккаунтов, что снизило уровень спама до того, что он перестал быть обузой и поводом для беспокойства.

Что мне нравится в Discourse — это гибкость в решении проблем, постоянное развитие и готовность команды помогать. Это освежающее изменение.

3 лайка
14

У меня нет такого же опыта в строительстве проектов в интернете, как у всего сообщества Meta, потому что я всегда находился в узких и нишевых местах. Я занимался основами peer-to-peer систем примерно десять лет и начал понимать английский язык лишь пару лет назад, поэтому я почти выпал из общего процесса.

В то же время на Ghost CMS, который я использую, была накинута спам-атака, и мне пришлось отключить регистрацию, так как система не была готова к её обработке. Это было безумие: ресурсы SMTP-сервера, которые обычно использовались за два года, были израсходованы за один месяц.

Поддержание узких сообществ позволяет проводить ручную проверку аккаунтов; я считаю, что это единственный надёжный способ отпугивать пауков и ботов. Сейчас нет такой системы, которую они не смогли бы обойти; вычислительные мощности, которыми они располагают, постоянно развиваются и становятся всё сильнее с каждым днём.

Хорошие инструменты, как всегда, помогут, но настоящая защита зависит от нас самих.

15

Я думаю, что это имеет значение. В некоторых случаях спамеры задавали AI-сгенерированные выразительные вопросы, на которые наше сообщество коллективно потратило немало времени… только чтобы «OP» (автор вопроса) вернулся и вставил спам-ссылку или ретроспективно отредактировал вопрос, чтобы включить её. До этого поворота они не выглядят явно как тролли.

Люди будут обжигаться на этом лишь ограниченное количество раз. Это разрушает добрую волю сообщества.

3 лайка
16

Я бы предположил, что ваша форум — не единственная цель. С учетом этого, очевидно, что сущность, совершающая эти действия, не хочет тратить время на создание оригинальной темы. Таким образом, пост, сгенерированный ИИ, экономит время в общей схеме. Поэтому бдительность в отношении блокировки постов, написанных ИИ, кажется, может стать полезным методом для снижения спама.