Стратегии фильтрации спам-аккаунтов / аккаунтов AI?

Форум, в котором я помогаю, в последние месяцы сталкивается с лавиной регистраций спам-аккаунтов. Почти наверняка это боты на базе ИИ, так как они умеют заполнять формы регистрации (по сути, отмечать галочки), решать hCaptcha, обрабатывать письма с подтверждением и даже создавать информацию профиля пользователя. Обычно мы можем догадаться, какие регистрации поддельные, по нескольким признакам (например, нулевое время чтения статей, некоторые тонкие особенности в именах и адресах электронной почты, явно фальшивые данные пользователя), но это непросто (например, часто это легитимные адреса Gmail). Однако такой процесс неустойчив: у нас иногда бывает до десяти фейков в день, и при наших ограниченных возможностях по сортировке таких заявок легко допустить ошибку.

Добавление капчи сократило количество фейковых регистраций, но у нас всё ещё остаётся большой backlog пользователей, которых нужно одобрить, из-за чего новым участникам иногда приходится ждать неделю или две, чтобы присоединиться. Мы рассматривали текстовые опросы для новых пользователей, но реальность такова, что у нас нет ресурсов, чтобы читать множество вопросов и гадать, сгенерированы ли они ИИ (к тому же эта проблема будет только усугубляться).

Один из вариантов — просто разрешить таким пользователям присоединяться, а затем помечать их, если они опубликуют что-то явно спамное? Мне кажется, мы колеблемся открыть шлюзы на этом этапе, поскольку это просто переносит процесс из одной точки (регистрация) в другую (помеченные посты), и вернуть кота обратно в мешок уже не получится: сто скрытых аккаунтов ИИ, которые постепенно начнут публиковать сообщения в течение нескольких месяцев, могут легко полностью разрушить форум.

У кого-нибудь есть стратегии, которые помогут справиться с этим? Мы относительно небольшие, поэтому не могу представить, что мы единственные, кто сталкивается с такой проблемой…

4 лайка

На моём крупнейшем форуме ежедневно регистрируется от 5 до 10 спам-аккаунтов.

Для борьбы с ними я использую следующие инструменты:

Недавно я установил этот плагин несколько дней назад, и он оказался невероятно эффективным:

Он автоматически заглушает спам и не создаёт элементы для проверки.

Также может помочь настройка параметров спам-фильтра: /admin/site_settings/category/spam

7 лайков

Возможно, стоит бороться со злом его же оружием и попробовать вариант обнаружения спама с помощью ИИ? Discourse AI - Spam detection

7 лайков

Касательно аккаунтов пользователей ИИ, не могли бы вы подробнее рассказать, какой «ущерб» они наносят, если пользователи никогда не публикуют сообщения?

Мы внесли изменения месяц назад: скрываем профили пользователей с низким уровнем доверия и анонимных пользователей до тех пор, пока они не опубликуют сообщение, чтобы спам был скрыт.

Один интересный подход, на мой взгляд, если объем действительно высок, — это удалять аккаунты через 30 дней, если они не публикуют сообщения. Им нужно раскрыть себя, иначе аккаунт будет удален.

Обнаружение спама с помощью ИИ показало выдающиеся результаты на всех форумах, где мы его включили. Вы можете использовать его на своем форуме с помощью некоторых бесплатных моделей, например бесплатного тарифа Gemini. Мы предоставляем нашим клиентам доступ к нашей модели, но это не широко доступно для тех, кто размещает решения самостоятельно.

4 лайка

Я заметил одну проблему в Discourse — отсутствие нативной поддержки CloudFlare Turnstile. Честно говоря, это одно из лучших решений для капчи, с которыми я сталкивался. Я использую платный скрипт форума с этой защитой, и спам там практически не проникает, несмотря на большое количество новых регистраций. Почти все боты отлавливаются Turnstile.
Не понимаю, почему в Discourse до сих пор не внедрили в ядро существующие решения, несмотря на все эти годы.

Когда нас заваливали спамом, учётные записи AI превосходили реальные новые учётные записи пользователей в соотношении 10 к 1, что делало некоторые административные задачи на форуме крайне неудобными. Модераторы опасались на более высоком уровне, что форум, где значительная часть или большинство пользователей — это AI-боты или спам-боты, может потенциально нанести реальный ущерб в будущем, даже если они пока только наблюдают. Например, мы представляли, что если через год сотни фейковых пользователей начнут делать правдоподобные, но бесполезные посты, это легко может превысить наши возможности по обработке, и весь форум станет практически бесполезным :slight_smile:

С новыми участниками сейчас ситуация немного лучше, но, думаю, всем предпочтительнее избежать этой проблемы с «наблюдателями», если это возможно. Наш форум уже агрессивно собирали для обучения AI (это узкоспециализированная область, поэтому, по крайней мере в старых версиях GPT, было возможно заставить GPT повторять почти дословные цитаты из постов на форуме, если задать правильный вопрос), поэтому все немного раздражены этим.