Сообщения и учётная запись не всегда восстанавливаются, когда флаг системы обнаружения спама Discourse AI отклонён

Внести вклад Ошибка
,
1

Приоритет/Серьезность:

Высокий

Платформа

Операционная система

Windows 11

Браузер

Google Chrome 131.0.6778.265

Discourse

c1a46995a7b87982557eeba297d4460169c77bba

Discourse AI

61758ff8a6ea98e4502d0bdc9a8abe635aa35666

Описание:

Когда сообщение распознается как спам функцией обнаружения спама плагина Discourse AI, выполняются следующие действия:

  • Сообщение скрывается
  • Учетная запись автора сообщения замолчается
  • Поднимается флаг

Затем персонал форума проверяет флаг. В случае ложного срабатывания обнаружения спама сотрудник нажмет кнопку «Нет, восстановить сообщение» в интерфейсе проверки флага.

:bug: Сообщение и учетная запись восстанавливаются не всегда, когда рецензент флага нажимает кнопку «Нет, восстановить сообщение». Сообщение остается скрытым, а учетная запись автора сообщения несправедливо остается замолчанной.

Шаги для воспроизведения:

Я не знаю, как надежно воспроизвести ошибку, но вот шаги, которые выполняются при её возникновении:

  1. Дождитесь, пока система обнаружения спама Discourse AI пометит сообщение флагом.
  2. Нажмите кнопку «Нет, восстановить сообщение» в интерфейсе проверки флага.
  3. Проверьте помеченное флагом сообщение.
    :bug: Сообщение может оставаться скрытым.
  4. Проверьте страницу администратора пользователя, создавшего помеченное флагом сообщение.
    :bug: Учетная запись пользователя может оставаться замолчанной.

Дополнительная информация

Кажется, это происходит при следующих условиях:

  • Помеченное флагом сообщение не является первым сообщением в теме.
  • Автор помеченного флагом сообщения создал тему.

Я заметил, что если я проверю заметки пользователя учетных записей, которые остались замолчанными после отклонения флага из-за ошибки, то там будут две идентичные заметки следующего вида:

system 19m

@discourse_ai_spam замолчал эту учетную запись до 13 января 3025 года. Причина: Учетная запись автоматически замолчана Discourse AI

Между временными метками двух заметок прошло несколько минут. Обе заметки связаны с одним и тем же сообщением, для которого был поднят только один флаг.

Если я проверю заметки пользователей, чьи сообщения были помечены флагом, но учетная запись была корректно восстановлена после отклонения флага, я увижу только одну из этих заметок.

На случай, если это может быть полезно для расследования, отмечу, что это происходит на форуме по адресу:

4 лайка
Weekly Summary of AI topics
Weekly Summary of AI topics
4

Я исправил это здесь:

Хотя это решение менее «магическое» и не так сурово к спамерам, как старый механизм, я считаю, что дополнительная безопасность и ясность того стоят.

Кстати, я заметил закономерность ложных срабатываний для Arduino и немного скорректирую пользовательские инструкции, чтобы это исправить (ожидая развёртывания).

3 лайка
5

Большое спасибо за исправление ошибки и за улучшение инструкций по обнаружению спам-сообщений с помощью ИИ!

Как обычно, команда Discourse порадовала удивительно быстрым временем реакции!

С уважением,
Пер

4 лайка
6

Эта тема была автоматически закрыта через 4 дня. Новые ответы больше не принимаются.

8

К сожалению, я обнаружил, что проблема сохраняется даже после обновления нашего форума до версии, содержащей предполагаемое исправление.

За последнюю неделю я выявил три случая, когда отмеченный пост оставался скрытым, а аккаунт пользователя — заглушенным, несмотря на то, что мы нажали кнопку «Нет, восстановить пост»:

Это произошло со следующими версиями:

  • Плагин Discourse AI версии 4784e7fe43ff25c44df986a56f70c0c1c017a51a
  • Версия Discourse d3a7b996992e721dd9caab60095414eaf1fc832f
2 лайка
9

Спасибо, Перт. На этой неделе я займусь этим и выясню, что вызывает эту проблему.

10

При исследовании здесь обнаруживается множество интересных историй.

В случае с:

я вижу, что пользователя несколько раз замалчивал ИИ.

Как-то мы наблюдали следующую последовательность:

  • Система пометила
  • Пометка была отклонена
  • Пользователь отредактировал
  • Система спама снова обнаружила это
  • Новая пометка не была создана, так как она считалась «дубликатом», поэтому система прозрачно ничего не сделала.

Давайте я поговорю с командой по работе с персоналом, чтобы понять, как правильно решить эту проблему.

Нам нужно разрешить ИИ повторно помечать контент, поскольку спамеры могут быть очень хитрыми: то, что было приемлемо изначально, не означает, что оно останется таковым навсегда.

12

Пёрт,

Похоже, это довольно сложный пограничный случай. Дайте нам немного времени, чтобы отладить это и найти надежное решение проблемы.

Двойная маркировка — очень сложная задача.

16

Спасибо, Сэм.

Абсолютно согласен. Я вовсе не против получать дополнительные флаги для поста.

Да, отлично, что система борьбы со спамом переоценивает сообщения после их редактирования!

У нас было ещё одно проявление этой проблемы:

Если нужны дополнительные примеры проблемы, просто дайте знать, и я буду продолжать предоставлять их здесь по мере обнаружения (я периодически запускаю запрос в Data Explorer, чтобы проверять скрытые сообщения и заблокированных пользователей, возникших из-за этой ошибки). В противном случае я воздержусь, так как не хочу создавать здесь «шум», если они не нужны.

1 лайк
17

Я думаю, у нас всё в порядке: у нас есть отличный пример воспроизведения проблемы. @martin включил это в свой список и посмотрит на него на следующей неделе.

Можно придумать «наивные» исправления типа топора, но я предпочитаю сначала разобраться, есть ли более чистое решение (например, если флаг уже обработан, вручную отвязать его от поста, чтобы освободить место для нового флага).

Огромное спасибо за сообщение об этой проблеме.

24

Привет, Перт,

Меня зовут Мартин, мне поручили разобраться с этой проблемой. Я исправил ситуацию, когда ИИ пытался повторно пометить как спам уже обработанный пост, не удавалось сделать это, но всё равно блокировал пользователя и скрывал пост. Исправление уже развернуто на вашем сайте.

Потребность в том, чтобы ИИ повторно помечал посты как спам, всё ещё существует, но, по крайней мере, вы больше не увидите этого сбивающего с толку поведения, когда пользователей блокируют, а посты скрывают.

Пожалуйста, дайте знать, если у вас возникнут ещё какие-либо проблемы.

3 лайка
25

Спасибо, Мартин!

1 лайк
26

Эта тема была автоматически закрыта через 11 дней. Новые ответы больше не принимаются.