Эта функция теперь входит в состав Discourse AI. Этот плагин устарел.
 |
Краткое описание | Disorder помогает модераторам, автоматически помечая потенциально токсичный контент на вашем форуме Discourse. |
 |
Ссылка на репозиторий | https://github.com/xfalcox/disorder |
 |
Руководство по установке | Как установить плагины в Discourse |
Если вы используете наш официальный хостинг, пожалуйста, обратитесь в службу поддержки, чтобы выразить интерес к этому плагину.
Токсичность
Как отметил @hawk в Dealing with Toxicity in Online Communities, управление токсичностью в вашем сообществе имеет фундаментальное значение.
Хотя Discourse из коробки поставляется с множеством различных инструментов для помощи в управлении токсичностью в вашем сообществе, мы постоянно исследуем способы дальнейшего улучшения этой области. В частности, я изучал возможные применения машинного обучения и искусственного интеллекта в онлайн-форумах. Сейчас это экспериментальный плагин, доступный всем сообществам.
Плагин
Disorder использует искусственный интеллект и машинное обучение, чтобы помочь вам модерировать ваше сообщество, облегчая вашей команде модераторов контроль над потенциально проблемным контентом и даже, по желанию, побуждая пользователей пересматривать токсичные сообщения перед публикацией.
Это первая попытка использования самохостинговых моделей машинного обучения в Discourse. Хотя это простая модель, она закладывает шаблон, который можно использовать повторно для применения более сложных моделей в будущем.
Возможности
Фоновая маркировка
Это основной режим работы Disorder, так как он полностью прозрачен для ваших пользователей, которые не заметят никаких изменений.
При создании нового сообщения (или сообщения в чате с использованием Discourse Chat) оно асинхронно помещается в очередь классификации. Если результат классификации превышает настраиваемый порог, сообщение/сообщение в чате помечается, чтобы предупредить вашу команду модераторов, и они могут принять окончательное решение по этому флагу.
Вмешательство при создании нового сообщения
Если вы считаете, что профилактика — лучшее лекарство, вам может заинтересовать этот более активный вариант.
Вы можете включить синхронную классификацию любого нового сообщения, которая, если превысит настраиваемый порог токсичности, запустит вмешательство в процесс создания нового сообщения, предложив пользователю пересмотреть и исправить сообщение, которое может выходить за рамки правил вашего сообщества.
Это произойдет только один раз, и после закрытия модального окна пользователь сможет публиковать сообщения в обычном режиме.
Как это работает?
Этот плагин интегрирует модели с открытым исходным кодом от Detoxify, используя модель удаленного вызова API, чтобы администраторы могли правильно масштабировать скорость вывода для потребностей каждого сообщества.
Мы предоставляем простой образ, который обеспечивает тонкий HTTP-API, к которому Discourse обращается для выполнения классификации контента. Этот образ можно запустить как на том же сервере, где работает Discourse, так и на совершенно другом сервере.
Плагин Discourse отслеживает события создания новых сообщений/сообщений в чате и помещает задачу классификации в фоновую очередь. Результаты сохраняются в базе данных, чтобы вы могли извлекать отчеты, а мы помечаем контент с помощью отдельного пользователя-бота, чтобы отслеживать точность его маркировки со временем.
Настройки
Сначала плагин работает из коробки, поэтому нет необходимости сразу менять какие-либо настройки. Однако, если вы хотите изменить поведение плагина, есть несколько параметров, которые вы можете использовать.
Мы предоставляем три различные модели классификации, которые вы можете выбрать в настройках плагина:
-
unbiased (по умолчанию): модель, которая пытается снизить непреднамеренную предвзятость модели при классификации токсичности.
-
multilingual: модель, способная классифицировать итальянский, французский, русский, португальский, испанский и турецкий языки.
-
original: самая простая модель.
Вы также можете настроить, будет ли плагин:
- автоматически помечать контент
- включать синхронное вмешательство с предупреждением для токсичных сообщений (экспериментально)
- включать синхронное вмешательство для токсичных сообщений (не рекомендуется)
Все вышеперечисленное происходит только тогда, когда комментарий классифицируется как превышающий пороги для каждого типа классификации:
- токсичность
- severe_toxicity (сильная токсичность)
- identity_attack (атака на идентичность)
- insult (оскорбление)
- threat (угроза)
- sexual_explicit (сексуально откровенный контент)
Вы можете настроить каждый из порогов классификации для автоматических действий.
Служба классификации
Плагин поставляется с предварительно настроенной работой из коробки. Для этого он обращается к службе, запущенной Discourse (CDCK), для классификации пользовательского контента. Этот сервис API классификатора имеет открытый исходный код, и при необходимости вы можете запустить собственную копию службы.
