Модерация форумов с ИИ: поиск идей и опыта

Разработка
1

Я ищу способы интеграции ИИ в свой форум Discourse для помощи в модерации. Мне не нужно, чтобы он заменял моих модераторов — мне просто нужна помощь в выявлении того, что люди обычно не замечают. Иногда это связано с тем, что такие проблемы буквально невидимы для модератора (например, спамер, создающий несколько аккаунтов с одного IP-адреса). В других случаях проблема видима для модератора, но легко упускается из-за усталости или невнимательности (например, тема, размещённая в неправильной категории, или тема, уходящая в сторону от основной темы обсуждения).

ИИ-модератор мог бы помочь с бесконечным количеством задач. Вот лишь несколько идей, которые приходят в голову:

  • Мониторинг всех новых постов для оценки вероятности того, что автор — спаммер или легитимный пользователь.
  • Наблюдение за новыми пользователями и их активностью до достижения определённого уровня доверия.
  • Выявление проблемных пользователей, создающих новые аккаунты после блокировки.
  • Определение тем, размещённых в неправильной категории, и предложение вариантов для их перемещения.
  • Флагирование и немедленное удаление контента для взрослых (NSFW).
  • Выявление ситуаций, когда обсуждение в теме уходит в сторону или её следует закрыть.
  • Определение тем, которые уже обсуждались, и предложение перенаправить пользователей к ним.
  • Выявление случаев, когда пользователь создал несколько аккаунтов (несколько пользователей входят с одного IP-адреса).
  • Определение постов, которые являются самопиаром или не относятся к теме.

Не говоря уже о том (и это уже немного в другом направлении), что ИИ мог бы даже отвечать на определённые темы с явно помеченным профилем ИИ. Например, если кто-то задаёт вопрос о том, как пользоваться форумом или где найти определённую функцию (например, как обновить профиль), бот мог бы определить, что это вопрос, на который он легко может ответить, и сразу же объяснить, как это сделать.

Я лишь слегка касаюсь этой темы, но основной вопрос: создавал ли кто-нибудь ИИ-бота, способного помогать с такими задачами модерации в Discourse?

Если нет, что сдерживает подобные инновации? Это казалось бы невероятно полезным для администраторов форумов — не для замены людей (хотя в некоторых случаях это возможно), а для помощи людям в выполнении их работы намного лучше.

2

Не знаю, но, полагаю, дело в том, что ИИ очень ненадёжен, может быть очень быстрым, но при этом очень дорогим.

Некоторые из таких возможностей уже реализуемы. Однако они не получили широкого распространения в основном потому, что ИИ ненадёжен и требует человеческого контроля.

Система автоматического ответа, которая отслеживает каждый пост и вмешивается при срабатывании определённых триггеров, должна быть дорогостоящей как с точки зрения аппаратных ресурсов, так и с точки зрения финансовых затрат. Но модель, отвечающая на уровне категории всем начинающим темы, уже возможна.

Кроме того, отслеживание IP-адресов — задача, которую вполне можно решить без ИИ, но она остаётся проблематичной. Использование одного и того же IP-адреса — довольно распространённое явление.

Вы уже знакомились с Discourse AI и Discourse Chatbot?

3

Вы уже ознакомились с текущими возможностями Discourse AI? Он уже поддерживает автоматическую маркировку с помощью LLM (в связке с автоматизацией).

4

Я узнал об этом вчера от @Jagster (спасибо, Jakke, что обратили на это внимание). Я немного подробнее изучил этот вопрос, особенно расширенную версию… и, если я правильно понимаю, её внедрение обойдётся довольно дорого: либо потребуется аккаунт для Enterprise-хостинга, либо довольно мощный собственный сервер.

В любом случае, хорошо знать, что такая опция уже существует. Похоже, она закрывает несколько важных потребностей, но я могу придумать ещё множество способов её использования. С нетерпением жду, как это будет развиваться в ближайшие месяцы и годы. В подобных решениях огромный потенциал!

5

В этом есть много потенциальных положительных моментов, но также и много рисков и недостатков.

В Stack Exchange есть бот на базе ИИ, который проверяет ответы и сообщает автору, если ответ кажется непонятным:

“На данный момент ваш ответ непонятен. Пожалуйста, отредактируйте его, добавив дополнительные детали, которые помогут другим понять, как именно он отвечает на поставленный вопрос. Дополнительную информацию о том, как писать хорошие ответы, можно найти в центре помощи. - Бот сообщества”

Такой запрос может быть очень полезен, чтобы стимулировать более четкие объяснения и избежать путаницы, разочарования или раздражения у пользователей из-за непонятных ответов.

6

Для вашего собственного сервера это не потребует значительных ресурсов, так как вы можете просто использовать размещённые модели, например, от OpenAI. Таким образом, вы платите только за API-запросы для создания эмбеддингов и чата.

7

Посмотрите это

9

Я создал пользовательскую интеграцию для клиента на базе Discourse.

  1. Собрал историю модерации и обучил модель NLP для выявления тем и комментариев, требующих внимания.
  2. Добавил модератор токсичности, также обученный на основе их предыдущей истории модерации.
  3. Внедрил интеграцию анализа тональности для ускорения обработки комментариев.
    Обучение моделей выполняется в Google Colab, а сами модели загружаются в GCP для предоставления API через вебхуки Discourse.
11

Мне нравятся форумы, потому что здесь все — настоящие люди, объединённые общим интересом или целью. Когда кто-то отвечает на вопрос неверно, почти наверняка найдётся другой пользователь, который исправит ошибку. Предположительно, то же самое могло бы происходить и в случае, если бы ИИ дал неверный ответ, но это всё же не то же самое. Кроме того, чтение того, как другие подходят к решению проблем, полезно для нашего собственного мышления. Я часто приходил к новым способам мышления, читая хорошо обоснованные ответы других людей, или узнавал новые способы выполнения действий, которые, как мне казалось, я уже знал.

Ещё один аспект — потенциальные ложные срабатывания, которые могут (и делают!) отпугивать людей. Если я захожу на форум как новый пользователь, а машина ошибочно помечает мой пост, блокирует меня или что-то в этом роде, и при этом очевидно, что этого не должно было произойти, я, скорее всего, просто не вернусь. Либо я уйду с сайта и забуду о нём, либо буду настолько раздражён, что не захочу тратить время на исправление ситуации.

Мне кажется, что стремление исключить человеческий фактор из модерации ведёт в неправильном направлении. Модерация иногда может опираться на предсказуемые правила — например, у нас есть функция отслеживания ключевых слов или сопоставления IP-адресов для решения таких задач. Но использование алгоритмов для обработки «размытых» ситуаций приводит к бесконечной гонке за идеальным алгоритмом, отвлекая внимание от создания более здоровой сообщества, где можно работать с коренными причинами поведения. В конечном счёте, я надеюсь, что пользователи изменят своё поведение, и я верю, что они способны на это.

Рутина вопросов — это возможности для людей устанавливать человеческие связи, и такие точки соприкосновения абсолютно необходимы для формирования долгосрочной лояльности пользователей, которые станут защитниками вашего форума. Дружелюбное лицо, которое появляется, чтобы ответить на простой вопрос, создаёт атмосферу гостеприимства так, как это не сможет сделать ИИ. С точки зрения построения сообщества это буквально «плоды, которые висят низко»!