Советы по защите от спама

:bookmark: Эта документация предоставляет исчерпывающее руководство по предотвращению спама на форумах Discourse и включает информацию о различных настройках и инструментах, предназначенных для помощи в поддержании среды сообщества, свободной от спама.

:person_raising_hand: Требуемый уровень пользователя: Администратор

На большинстве форумов спам встречается редко. Однако, если у вас возникают проблемы со спамом на вашем сайте, Discourse поставляется с многочисленными инструментами, которые помогут вам автоматически предотвращать спам.

Следующее руководство предлагает некоторые рекомендации о том, как вы можете помочь предотвратить спам, сохраняя при этом позитивную и приветливую среду для вашего сообщества.

Обнаружение спама с помощью Discourse AI

Обнаружение спама с помощью ИИ — одна из лучших функций Discourse для автоматического обнаружения спама. В отличие от других инструментов, она может автоматически блокировать пользователей и сообщения на основе предварительно настроенных правил. Обнаружение спама с помощью ИИ доступно всем пользователям на хостинге Discourse, а также на самостоятельно размещенных сайтах с настроенной LLM.

Преимущества обнаружения спама с помощью ИИ включают:

  • Автоматизация: Не требуется ручное вмешательство для блокировки очевидного спама.
  • Настраиваемость: Вы можете адаптировать его под уникальные требования вашего сообщества.
  • Масштабируемость: Хорошо работает даже при сильных спам-атаках на сообщества.
  • Широкая совместимость: Бесплатные (на хостинге Discourse) и бюджетные LLM, такие как GPT-4, Claude 3.5 и Gemini Flash, могут эффективно справляться с обнаружением спама.

Настройка обнаружения спама с помощью ИИ

:megaphone: Теперь по умолчанию включено для клиентов Starter и Standard

Просто включите его в настройках администратора → плагины → AI → Обработка спама (подробности здесь).

По умолчанию используется промпт, который Discourse настроил специально для наших сайтов, но вы можете добавить собственные инструкции, специфичные для вашего сайта.

Пример настроенного промпта

:information_source: С помощью Discourse AI вы также можете использовать креативного ИИ-бота для генерации настроенных промптов, специфичных для потребностей вашего сайта.

Уровни доверия по умолчанию

Уровень доверия по умолчанию для новых пользователей на вашем сайте можно изменить на странице .../admin/site_settings/category/trust, однако мы рекомендуем оставить для default trust level значение 0.

Если вы изменили значение этой настройки, мы настоятельно рекомендуем вернуть его к значению 0: new user (Новый пользователь), так как изменение этой настройки может подвергнуть ваш сайт серьезному риску спама из-за того, как уровни доверия взаимодействуют с настройками Discourse, связанными со спамом.

Настройки сайта, связанные со спамом

:warning: Если у вас нет конкретных проблем со спамом, мы рекомендуем оставлять следующие настройки на значениях по умолчанию.

Discourse имеет несколько настроек сайта, связанных со спамом, к которым можно получить доступ на странице .../admin/config/spam вашего сайта.

Эти настройки можно отрегулировать, чтобы увеличить или уменьшить чувствительность обнаружения спама и строгость последствий, связанных с публикацией спама.

Ниже приведены некоторые из наиболее часто регулируемых настроек, связанных со спамом, которые оказывают заметное влияние на обработку спама на сайте.

Значения по умолчанию для всех настроек показаны ниже.

Скрытие сообщений

Настройки hide post sensitivity (чувствительность скрытия сообщений) и cooldown minutes after hiding posts (минуты задержки после скрытия сообщений) контролируют вероятность того, что помеченное сообщение будет автоматически скрыто Discourse, и время, которое пользователь должен подождать перед редактированием помеченного и скрытого сообщения.

Заглушение новых пользователей

В Discourse есть настройка сайта num users to silence new user (количество пользователей для заглушения нового пользователя), которая автоматически заглушает нового пользователя, если его сообщения помечены как спам определенным количеством уникальных пользователей.

По умолчанию это значение равно 3, поэтому вы можете рассмотреть возможность его снижения, если у вас регулярно возникают проблемы со спамом от одного и того же пользователя (или пользователей).

Ограничение ссылок

Discourse ограничивает количество сообщений, которые может разместить новый пользователь, содержащих ссылки на внешний домен, с помощью настройки newuser spam host threshold (порог спама хоста для нового пользователя). Если новые пользователи на вашем сайте часто спамят ссылками на один и тот же домен, возможно, стоит снизить значение этой настройки.

Ограничение IP-адресов

Discourse ограничивает количество новых учетных записей, которые пользователь может создать с одного IP-адреса. Если вы обнаружите, что проблемные пользователи на вашем сайте неоднократно создают учетные записи для спама на вашем сайте, вы можете рассмотреть возможность снижения значения по умолчанию.

Существует также флажок flag sockpuppets (помечать соккуппетов), который можно включить, чтобы предотвратить создание пользователями нескольких учетных записей с последующими комментариями в одной и той же теме:

Кроме того, вы можете вручную проверить IP-адреса проблемных пользователей на их административной странице в полях Last IP Address (Последний IP-адрес) и Registration IP Address (IP-адрес регистрации) и удалить другие учетные записи, связанные с тем же IP-адресом.

Или рассмотрите возможность блокировки IP-адресов, которые используют спамеры, на странице «Журналы → Просмотренные IP-адреса» (.../admin/logs/screened_ip_addresses):

Регулировка требований к помечанию

По умолчанию тема должна быть помечена 5 уникальными пользователями, прежде чем Discourse автоматически приостановит публикацию в этой теме.

Вы можете отрегулировать настройку сайта num flaggers to close topic (количество помечающих для закрытия темы), чтобы увеличить или уменьшить количество помечающих, необходимых для приостановки публикации в теме, и отрегулировать настройку auto close topic sensitivity (чувствительность автоматического закрытия темы), чтобы изменить вероятность того, что рассматриваемая тема будет автоматически закрыта вместо этого.

Отслеживаемые слова

Отслеживаемые слова — еще одна отличная функция, помогающая блокировать или ограничивать сообщения, содержащие слова, фразы или URL-ссылки, которые спамеры могут использовать повторно.

Рассмотрите возможность добавления некоторых «Заблокированных» или «Заглушающих» слов на ваш сайт, если вы обнаружите, что спамеры часто используют одни и те же типы текстов в своих сообщениях.

Для более продвинутого использования Отслеживаемых слов вы также можете рассмотреть Использование Regex с Отслеживаемыми словами.

Увеличение требований к уровням доверия

Если вы обнаружите, что спам поступает в основном от пользователей уровня TL0, вы также можете захотеть отрегулировать некоторые настройки уровней доверия, чтобы усложнить достижение уровня TL1:

Плагин CAPTCHA

Плагин Discourse Captcha направлен на повышение безопасности и защиты от ботов путем интеграции таких сервисов, как hCaptcha или reCaptcha, в локальную форму регистрации.

:sparkles: На всех сайтах, размещенных на хостинге Discourse, этот плагин включается автоматически.

Дополнительные шаги

Понимание причин, по которым пользователи спамят на вашем сайте, важно. Скучают ли они, действуют ли со злым умыслом или стремятся рекламировать себя?

Советы по работе с проблемными пользователями, а также множество других тем модерации можно найти в руководстве по модерации Discourse, поэтому вам стоит прочитать это руководство для получения дополнительных идей по модерации вашего сайта.

Помимо вышеперечисленного, увеличение численности вашей команды модераторов на короткий период времени, чтобы обеспечить полное покрытие, является еще одним хорошим подходом для борьбы со спамом. Ключ в том, чтобы вымотать проблемных пользователей, чтобы им стало скучно и они ушли.

Если у вас по-прежнему возникают проблемы со спамом после прочтения этого руководства, вы также можете рассмотреть возможность помещения всех или некоторых сообщений новых пользователей в очередь проверки с помощью настроек approve post count (количество сообщений для проверки), approve unless allowed groups (проверять, если не разрешенные группы) или approve new topics unless allowed groups (проверять новые темы, если не разрешенные группы):

Настройка approve unless allowed groups требует, чтобы сообщения, созданные пользователями, не входящими в указанные группы, проходили проверку. Сообщения, созданные администраторами и модераторами, всегда одобряться.

Настройка approve new topics unless allowed groups требует, чтобы новые темы, созданные пользователями, не входящими в указанные группы, проходили проверку. Темы, созданные администраторами и модераторами, всегда одобряться.

Однако важно убедиться, что у вас достаточно модераторов для обработки таких запросов, так как это может затруднить начало взаимодействия с сайтом для новых пользователей, если их сообщения останутся не одобренными.

18 лайков

Я не могу говорить за все форумы, но на том, где я был участником с уровнем TL3, при каждом входе в день в отслеживаемых категориях всегда оставался хотя бы один спам-пост. А на том, где я сейчас модератор, в среднем появляется около двух спам-постов в день. Поэтому, судя по этому, я считаю, что спам довольно распространён на многих форумах.

5 лайков

Одно очень полезное регулярное выражение — \d{3}-\d{4}|[\w+\-.]+@[a-z\d\-]+(\.[a-z\d\-]+)*\.[a-z]+, которое блокирует адреса электронной почты и номера телефонов. Не забудьте включить настройки — публикация — «регулярные выражения для наблюдаемых слов».

7 лайков

Привет :wave:

Я активно использую эти советы на своём форуме, так что… спасибо! :heart:

Есть ли настройка, которую можно включить, чтобы отправлять в очередь на проверку только новых пользователей, регистрирующихся, например, с домена gmail.com?

В настоящее время все новые пользователи отправляются в очередь на проверку, но я заметил, что большинство спам-аккаунтов создаются с использованием адреса Gmail. Отправка только таких пользователей на проверку снизила бы нагрузку и время проверки, по крайней мере для меня :sweat_smile:

1 лайк

@SaraDev Вы знаете, возможно ли это? Мне тоже было бы интересно узнать, так как это было бы очень полезно для блокировки не только IP-адресов, но и конкретных доменов!

1 лайк

В базовом функционале Discourse нет возможности отправлять сообщения только от пользователей с определённого домена (например, gmail.com) в очередь на проверку.

Ближайшей аналогией является настройка сайта auto approve email domains (автоматическое одобрение доменов электронной почты), которая позволяет пользователям с определённых доменов электронной почты обходить процесс ручной проверки, автоматически одобряя их.

Также существуют настройки blocked email domains (заблокированные домены электронной почты) и allowed email domains (разрешённые домены электронной почты), которые позволяют ограничить или контролировать регистрацию на вашем сайте на основе доменов электронной почты:

Однако все эти настройки требуют включения параметра must approve users (необходимо одобрять пользователей) и влияют только на первоначальную регистрацию пользователей на сайте, а не на взаимодействие между созданием сообщений и очередью на проверку.

В качестве обходного решения можно использовать Groups (Группы) для реализации аналогичной функциональности. Например, вы можете создать пользовательскую группу и автоматически добавлять в неё пользователей, регистрирующихся с определённым адресом электронной почты, а затем добавить эту группу в настройки approve unless allowed groups (одобрять, если не входит в разрешённые группы) и approve new topics unless allowed groups (одобрять новые темы, если не входит в разрешённые группы).

При такой настройке вы сможете эффективно обходить очередь на проверку для пользователей с определённым доменом, при этом, при желании, отправляя другие сообщения в очередь на проверку.

2 лайка

Привет! Подскажите, пожалуйста, можно ли принудительно включить капчу при создании темы и/или поста?

Не знаю, но если бот может обходить капчу при входе, то он сможет делать то же самое и при публикации.

Верно, но, похоже, есть поддержка капчи для регистрации, поэтому я хотел узнать, есть ли аналогичная функция для создания тем/сообщений.

В последнее время мы наблюдали несколько случаев масштабных спам-атак на наших клиентов. Общим у всех них было то, что они разрешили всем пользователям создавать сообщения в одной или нескольких категориях, обойдя все ограничения уровней доверия.

Для опытных администраторов Discourse очевидно, что это плохая идея, но для менее опытных это может быть не так. Поэтому, возможно, стоит сформулировать то, что для нас очевидно, и добавить это в начало темы.

7 лайков

В последнее время мы сталкиваемся со спамерами, которые используют автоматическую регистрацию, а затем пытаются создавать новые темы с контентом, сгенерированным ИИ. Он выглядит как настоящие запросы совета, но содержит партнерские ссылки Amazon. Обычно они маскируют эти ссылки с помощью различных сервисов сокращения URL. Они способны отвечать на комментарии и даже вести переписку в личных сообщениях в шуточной манере. Кто-нибудь сталкивался с этим? Интересно, учитывая, что эти попытки кажутся полностью автоматизированными, не является ли это массовым явлением для других форумов на Discourse? Есть ли у вас какие-либо советы по стратегии борьбы с ними?

1 лайк

Привет, @Overgrow,

Вот несколько идей, которые вы можете попробовать для предотвращения этого:

  • Используйте Discourse AI — AI triage для настройки обнаружения спама в вашем сообществе, чтобы выявлять такой тип контента.
  • Добавьте паттерны сервисов сокращения URL и партнерских ссылок Amazon в свой список заблокированных просматриваемых слов.
  • Понизьте порог newuser spam host threshold и увеличьте требования для уровня доверия TL1.
  • Уменьшите значение max new accounts per registration IP и включите опцию flag sockpuppets.
  • Используйте плагин Discourse hCaptcha, чтобы помочь предотвратить автоматизированный спам и регистрации с помощью ИИ на вашем сайте.
  • Рассмотрите возможность помещения всего контента новых пользователей в очередь на модерацию до тех пор, пока атака не утихнет, изменив следующие настройки:
    • approve post count
    • approve unless trust level
    • approve new topics unless trust level

Подход здесь будет аналогичен общей борьбе со спамом, но с большим акцентом именно на сокращённых URL и контенте, сгенерированном ИИ.

Для вашего случая вы можете попробовать использовать промпт для ИИ, специально предназначенный для обнаружения контента, созданного ИИ, например, следующий:

Вы — система обнаружения спама. Проанализируйте следующий контент и контекст.

Примечания:
- Ответы должны оставаться релевантными теме обсуждения.
- Помечайте как СПАМ, если контент нерелевантен, носит рекламный характер или является автоматизированным.
- Рассматривайте посты новых пользователей со ссылками как потенциальный СПАМ, если они явно не релевантны теме.

Обращайте внимание на контент, который выглядит аутентичным, но имеет неестественные паттерны.
Ищите текст с необычными формулировками, чрезмерной формальностью в сочетании с разговорным языком или общими советами, которые не совсем подходят к контексту.
Фиксируйте контент, содержащий скрытые партнерские ссылки, особенно когда пост, по-видимому, создан для того, чтобы естественно подвести к рекомендациям продуктов.

Особое внимание уделите следующим красным флагам:
1. Контент, который выдает себя за искренний запрос совета, но содержит рекламные элементы.
2. Посты, которые описывают проблему, а затем предлагают конкретные продукты в качестве решения.
3. Наличие сервисов сокращения URL (bit.ly, tinyurl, t.co, goo.gl и т. д.), которые могут маскировать партнерские ссылки.
4. Ссылки на продукты Amazon или упоминания о них, особенно с партнерскими параметрами (tag=, ref=, affiliate=).
5. Контент, который, кажется, просит рекомендаций, но незаметно склоняет к конкретным продуктам.
6. Искусственно качественный текст — чрезмерно формальный язык в сочетании с разговорными выражениями или неуклюжей структурой.
7. Новые аккаунты, публикующие контент с любым из вышеперечисленных паттернов.

Отвечайте только словами "SPAM" или "NOT SPAM".
3 лайка

Последнее время у меня серьёзные проблемы с бот-аккаунтами. Мне пришлось во второй раз отключить регистрацию новых пользователей. Вчера пришлось удалить около 50 бот-аккаунтов с примерно 30 спам-сообщениями. Я уже включил hCaptcha со сложной головоломкой, но это их не остановило. Я был на версии 3.5.0, но сразу после атаки обновился до 3.6.0. У нас уже не разрешены ссылки для уровня доверия 0, и требуется 30 сообщений перед тем, как разрешить ссылки, но эти посты — просто стены текста о турагентах и прочий случайный бред. Также у нас были аккаунты с ИИ и посты, которые ссылаются на реальное содержание форума, но при этом не совсем имеют смысл. Для нашей аудитории это отчасти забавно, но в любом случае я не хотел включать ИИ на форуме, однако чувствую, что исчерпал все другие варианты. Однако я получаю такое сообщение:

Но я нигде не вижу, где добавить указанную конфигурацию?

Прежде всего, хотя ИИ может помочь со спамом, я не думаю, что включение этого поможет предотвратить создание бот-аккаунтов в первую очередь. Или я ошибаюсь?

1 лайк

Если approve post count установлен в 1, то всё ещё необходимо изменять эти настройки?

Честно говоря, я не знаю ответа на этот вопрос.

Да, если approve_post_count установлено в 1, вам всё равно следует проверить остальные настройки.

Как взаимодействуют эти настройки:

approve_post_count (установлено в 1):

  • Влияет на пользователей с уровнем доверия 0 и 1
  • Требует одобрения их первого сообщения
  • После одобрения одного сообщения они могут публиковать свободно (при условии, что они всё ещё находятся на TL0 или TL1)

approve_unless_allowed_groups (ранее approve_unless_trust_level):

  • Влияет на всех, кто не входит в указанные группы
  • Требует одобрения всех сообщений (не только первого)

approve_new_topics_unless_allowed_groups (ранее approve_new_topics_unless_trust_level):

  • Влияет на всех, кто не входит в указанные группы
  • Требует одобрения только для новых тем (не для ответов)

Ключевое отличие:

  • approve_post_count временный — как только пользователи достигнут порога количества, они смогут публиковать свободно
  • Настройки «unless allowed groups» действуют постоянно — они применяются ко ВСЕМ сообщениям/темам от пользователей, не входящих в указанные группы, независимо от того, сколько сообщений они уже опубликовали

Вы также можете комбинировать настройки для лучшего контроля над публикациями на вашем сайте, например:

  • Используйте approve_post_count: 1 для проверки начальных сообщений от новых пользователей (TL0/TL1)
  • Используйте настройки approve_unless_allowed_groups для постоянной модерации всех, кроме конкретных групп (например, участников TL2+)

Это создаёт подход, при котором новые пользователи проходят модерацию на начальном этапе, и вы также можете контролировать, кто получает постоянную свободу публикации без одобрения.