Это руководство объясняет, как настроить и использовать функцию обнаружения спама Discourse AI, включая процесс настройки, критерии сканирования, логику классификации, возможности кастомизации и отличия от системы AI triage.
Требуемый уровень пользователя: Администратор
Эта функция теперь включена по умолчанию для клиентов Starter и Pro, а также для наших устаревших клиентов Basic, Open Source, Creator и Business.
Discourse AI предоставляет эффективную функцию обнаружения спама, которая идентифицирует и помечает спам-сообщения с минимальной настройкой. Хотя она разработана для простоты, она дополняет более универсальную систему AI triage, которая поддерживает более широкие рабочие процессы и крупные сценарии использования.
Краткое содержание
В этом руководстве вы узнаете:
- Как работает обнаружение спама ИИ и какой контент сканируется
- Логика классификации и контекст, используемые ИИ
- Шаги настройки обнаружения спама через
/admin/plugins/discourse-ai/ai-spam - Рекомендации по выбору больших языковых моделей (LLM)
- Ключевые различия между обнаружением спама и AI triage
- Как управлять помеченными и пропущенными сообщениями
Как работает обнаружение спама ИИ
Какой контент сканируется?
Обнаружение спама ИИ оценивает сообщения на основе следующих критериев:
-
Уровень доверия пользователя:
- Сканирует сообщения от пользователей с уровнем доверия, равным или ниже настроенного максимального уровня (управляется настройкой сайта
ai_spam_detection_max_trust_level, по умолчанию: уровень доверия 1). - Исключает сообщения от пользователей с более высоким уровнем доверия.
- Всегда исключает сообщения от сотрудников и ботов, независимо от уровня доверия.
- Сканирует сообщения от пользователей с уровнем доверия, равным или ниже настроенного максимального уровня (управляется настройкой сайта
-
Тип сообщения:
- Публичные сообщения (исключая личные сообщения).
- Включаются как ответы, так и первые сообщения тем, в зависимости от дополнительных пороговых значений.
-
Редактирование сообщений:
- Сканирует сообщения со значительными изменениями (например, изменения более 10 символов).
- Применяет задержку в 10 минут между сканированиями одного и того же сообщения.
- Ограничивает повторные сканирования максимум 3 раза на сообщение.
- Повторно сканирует только сообщения, отредактированные в последние 24 часа.
-
Частота сообщений:
- Сканирует сообщения от пользователей с количеством сообщений не выше настроенного порога (управляется настройкой сайта
ai_spam_detection_max_post_count, по умолчанию: 3 сообщения) в публичных темах. - Исключает сообщения от пользователей, превышающих этот порог.
- Сканирует сообщения от пользователей с количеством сообщений не выше настроенного порога (управляется настройкой сайта
-
Очередь проверки:
- Сообщения, уже одобренные из очереди проверки, не сканируются.
Процесс классификации
Сообщения, соответствующие критериям, отправляются агенту ИИ для анализа. Агент оценивает, является ли сообщение спамом или нет, и предоставляет причину своей классификации, используя структурированный вывод JSON. Оценка основана на:
- Контекст: Включает содержание сообщения, заголовок темы, категорию, данные учетной записи пользователя (например, имя пользователя, электронная почта, возраст аккаунта, общее количество сообщений и уровень доверия) и геолокацию на основе IP.
- Анализ изображений: Для анализа включаются до 3 загруженных изображений, прикрепленных к сообщению.
- Контекст ответа: Для ответов включается содержание родительского сообщения (до 500 символов).
- Информация о сайте: ИИ предоставляются название сайта, URL, описание и топ-10 категорий.
- Пользовательские инструкции: Правила, определенные администратором, для усиления или адаптации критериев сканирования.
- Автоматическое обнаружение:
- Помечает нерелевантный или рекламный контент (например, рекламу или коммерческие материалы).
- Выявляет автоматизированное поведение или поведение, похожее на ботов.
- Оценивает релевантность контента обсуждению.
Стандартный запрос и контекст
ИИ использует стандартный системный запрос для руководства обнаружением спама. Встроенный запрос агента обнаружения спама охватывает:
Вы — система обнаружения спама. Проанализируйте следующее содержание сообщения и контекст.
Внимательно рассмотрите тип сообщения:
- Для ОТВЕТОВ: Проверьте, релевантен ли ответ теме обсуждения
- Для НОВЫХ ТЕМ: Проверьте, является ли это легитимной темой или спам-рекламой
Сообщение является спамом, если оно соответствует любому из следующих критериев:
- Содержит несанкционированный коммерческий контент или рекламу
- Содержит подозрительные или нерелевантные внешние ссылки
- Демонстрирует паттерны автоматизированной/ботовой публикации
- Содержит нерелевантный контент или рекламу
- Для ответов: Полностью не связано с темой обсуждения
- Использует чрезмерное количество ключевых слов или повторяющиеся паттерны текста
- Демонстрирует подозрительное форматирование или использование символов
Будьте особенно строги к:
- Ответам, игнорирующим предыдущий разговор
- Сообщениям, содержащим несколько нерелевантных внешних ссылок
- Общим ответам, которые можно опубликовать где угодно
Будьте справедливы к:
- Новым пользователям, делающим легитимные первые вклады
- Носителям других языков, прилагающим искренние усилия для участия
- Упоминаниям продуктов, релевантным теме, в соответствующем контексте
Сканер также компилирует пакет контекста, включающий:
- Тип сообщения (НОВАЯ ТЕМА или ОТВЕТ) с метаданными категории и темы.
- Для ответов: содержание родительского сообщения и автора темы.
- Данные автора (имя пользователя, электронная почта, возраст аккаунта, общее количество сообщений, уровень доверия и местоположение на основе IP).
- Текст сообщения, обрезанный до 5000 символов для обработки.
- До 3 загруженных изображений, прикрепленных к сообщению.
Настройка обнаружения спама ИИ
Руководство по настройке
-
Доступ к настройкам:
Перейдите по адресу/admin/plugins/discourse-ai/ai-spam. -
Выбор LLM:
Если ваш сайт размещен компанией Discourse
Вы можете выбрать наш размещенный малый LLM CDCK из списка LLM.
- Выберите языковую модель, подходящую для потребностей вашего форума. См. страницу настроек больших языковых моделей (LLM) для настройки LLM.
- Доступ к
/admin/plugins/discourse-ai/ai-llmsдля конфигураций LLM.
- Активация обнаружения спама:
Включите обнаружение спама, переключив функцию.
-
Добавление пользовательских инструкций:
- Определите правила, специфичные для вашего форума (например, более строгий мониторинг внешних ссылок).
- Сохраните любые изменения, чтобы применить их.
-
Настройка порогов сканирования (опционально):
ai_spam_detection_max_trust_level: Установите максимальный уровень доверия пользователей, чьи сообщения сканируются (по умолчанию: 1). Можно установить от 0 до 4.ai_spam_detection_max_post_count: Установите максимальное количество сообщений, которое может иметь пользователь и при этом быть сканируемым (по умолчанию: 3). Можно установить от 1 до 100.
Отличия от AI triage
Хотя обнаружение спама разработано специально для выявления спама, AI triage поддерживает более широкие задачи управления сообщениями.
| Функция | Обнаружение спама ИИ | AI Triage |
|---|---|---|
| Сложность | Упрощенная, ориентированная настройка | Высокая степень кастомизации и гибкость |
| Основной сценарий использования | Обнаружение спама с минимальными накладными расходами | Продвинутые рабочие процессы для категоризации, тегирования, ответов, обнаружения спама, обнаружения NSFW |
| Действия | Помечает спам, скрывает сообщения, заглушает пользователей | Тегирование, категоризация, скрытие сообщений, добавление ответов, пометка сообщений, заглушение пользователей |
| Рекомендация | Простая настройка и эффективность для большинства ситуаций | Используйте для богатых, высококастомизируемых рабочих процессов |
Для получения дополнительной информации см. Discourse AI - AI triage.
Рекомендации по выбору LLM
Производительность обнаружения спама зависит от выбранной LLM.
Большинство недорогих LLM работают эффективно, например:
- GPT-4o-mini
- Claude 3.5 Haiku
- Gemini 2.0 Flash
Экспериментируйте с различными моделями, чтобы найти наилучшее соответствие. Настройте свои модели через /admin/plugins/discourse-ai/ai-llms.
Тестирование поведения сканера спама
Вы можете протестировать правила обнаружения спама непосредственно со страницы конфигурации.
- Вставьте URL или ID сообщения в поле тестирования.
- Просмотрите результат классификации и обоснование ИИ для своего решения.
- Несохраненные изменения применяются во время тестирования, что позволяет экспериментировать без риска.
Управление помеченными и пропущенными сообщениями
Обработка помеченных сообщений
Когда сообщение обнаружено как спам, система:
- Помечает сообщение как спам и добавляет его в очередь проверки.
- Заглушает пользователя, отправившего сообщение.
- Скрывает сообщение от публичного просмотра.
- Делает тему невидимой, если спам-сообщение было первым в теме.
Помеченные сообщения отображаются в очереди модерации. Администраторы могут:
- Одобрить легитимные сообщения, ошибочно классифицированные как спам.
- Отклонить спам-темы, чтобы поддерживать точность системы.
Важно: Отклоняйте флаги спама для неправильно классифицированных сообщений. Пользователи остаются заглушенными, пока флаг не будет разрешен.
Обработка пропущенного спама
Пропущенный спам относится к сообщениям, которые обошли обнаружение, но были отмечены сообществом. Модераторы могут управлять ими по мере необходимости.
Лучшие практики
- Регулярно отслеживайте помеченный и пропущенный спам для повышения точности системы. Кликабельные метрики упрощают этот процесс.
- Используйте тестовые случаи для оценки пользовательских инструкций на граничных случаях.
- При необходимости пересматривайте и корректируйте настройки LLM.
- Используйте настройки сайта
ai_spam_detection_max_trust_levelиai_spam_detection_max_post_countдля настройки того, какие пользователи сканируются, в зависимости от потребностей вашего сообщества.
Дополнительные ресурсы
Эффективная настройка обнаружения спама ИИ сокращает ручные усилия по модерации, обеспечивая чистое, свободное от спама сообщество.
