Элементы рецензирования «Требуется одобрение» из скрипта «Триаж постов с помощью ИИ» плагина «Автоматизация» не видны модераторам

Приоритет/Серьезность:

Средний

Платформа:

Discourse b66fca70d0e3d12ef930398289fac5269cd240c7

Описание:

В официальном плагине «Автоматизация» есть скрипт «Классификация постов с помощью ИИ». Этот скрипт включает опцию для пометки постов.

Тип пометки, создаваемой автоматизацией (а также сопутствующие действия), можно настроить через параметр скрипта «Тип пометки»:

  • «Добавить пост в очередь проверки»: пометки получают причину «Требуется одобрение».
  • «Пометить как спам»: пометки получают причину «Спам».

Поскольку отдельная функция Discourse AI для обнаружения спама уже обеспечивает высокое качество обнаружения спама, скрипт «Классификация постов с помощью ИИ» часто будет использоваться для задач, не связанных со спамом. В этом случае наиболее подходящим вариантом будет «Добавить пост в очередь проверки».

:bug: Когда параметр «Тип пометки» автоматизации установлен на один из вариантов «Добавить пост в очередь проверки», элементы проверки, созданные поднятыми пометками, не видны модераторам. Бремя проверки этих пометок полностью ложится на администраторов форума, хотя это задача модерации.

Шаги для воспроизведения:

  1. Войдите на форум с учетной записью администратора.
  2. Откройте страницу администрирования Discourse AI > Персоны (/admin/plugins/discourse-ai/ai-personas).
  3. Нажмите кнопку «+ Новая персона».
    Откроется страница настройки персоны.
  4. Добавьте произвольный контент в поля «Имя» и «Описание» на странице настройки персоны.
  5. Определите промпт в поле «Системный промпт», который будет подходящим для запуска автоматизации на тестовом посте. Например:
    Вам будет предоставлен фрагмент текста, и вашей задачей является определить, содержит ли он строку `foobarbazquxpippoplutopaperino`.
    
    Если пост содержит эту строку, ответьте `true`. Если пост не содержит эту строку, ответьте `false`.
    
    Ваш ответ должен состоять только из текста `true` или текста `false` и ничего более.
    
  6. Выберите модель из меню «Модель языка по умолчанию» (например, «CDCK Hosted Small LLM»).
  7. Нажмите кнопку «Отправить» в нижней части страницы.
  8. Если плагин «Автоматизация» еще не включен, включите его.
  9. Перейдите на страницу «Автоматизации» плагина (/admin/plugins/automation/automation).
  10. Нажмите кнопку «+ Добавить автоматизацию».
    Откроется страница «Выбор скрипта».
  11. Добавьте произвольное имя в поле «Имя» на странице настройки автоматизации.
  12. Выберите скрипт «Классификация постов с помощью ИИ».
    Откроется страница настройки автоматизации.
  13. Выберите «Пост создан/отредактирован» в меню Когда/Что… > Триггер.
  14. Выберите созданную вами персону из меню Параметры скрипта > Персона.
  15. Введите true в поле Параметры скрипта > Поиск текста.
  16. Установите флажок Параметры скрипта > Пометить пост.
  17. Выберите Добавить пост в очередь проверки в меню Параметры скрипта > Тип пометки.
  18. При необходимости внесите изменения в другие настройки автоматизации для удобства тестирования.
  19. Нажмите кнопку «Обновить автоматизацию» в нижней части страницы настройки автоматизации.
    Вы вернетесь на страницу «Автоматизации».
  20. Переключите параметр «Включить автоматизацию» для newly созданной автоматизации в положение «вкл».
  21. Создайте пост или личное сообщение, которое запустит автоматизацию.
    С приведенным выше примером системного промпта это достигается включением текста foobarbazquxpippoplutopaperino в пост.
  22. Опубликуйте пост или сообщение.
  23. Используя учетную запись администратора, перейдите в очередь проверки (/review).
    :slightly_smiling_face: Автоматизация создала пометку «Требуется одобрение» для тестового поста.
  24. Войдите на форум с учетной записью, не являющейся учетной записью администратора, но имеющей права модератора.
  25. Перейдите в очередь проверки (/review).

:bug: Элемент проверки, созданный пометкой «Требуется одобрение» автоматизации, не виден учетной записи модератора. Даже если вы перейдете напрямую по URL-адресу элемента проверки с этой учетной записью, вы увидите только страницу с ошибкой 404.

Дополнительная информация:

Ошибка не возникает, если вместо этого выбрать Пометить как спам и скрыть пост в меню Параметры скрипта > Тип пометки.

Хотя это предлагает обходной путь, он приводит к плохому опыту для сотрудников модерации в случае использования скрипта для классификации постов по причинам, не связанным с обнаружением спама. Мы ожидаем, что пометка будет иметь причину «Спам» только в том случае, если есть подозрение на спам.


Пометки «Требуется одобрение», созданные функцией «Одобрять, если не разрешенные группы», видны модераторам. Это заставляет меня полагать, что отсутствие видимости пометок от скрипта «Классификация постов с помощью ИИ» вызвано ошибкой, а не (необъяснимым) намеренным дизайном.

Я не вижу никаких веских причин скрывать эти элементы проверки от модераторов, но если они есть, то такое поведение должно быть хотя бы опциональным.


Мне удалось воспроизвести ошибку на форуме forum.arduino.cc.

2 лайка

Спасибо за отчет @per1234 :+1: Это действительно похоже на упущение

1 лайк

Исправление уже включено в код, @per1234. Дайте знать, насколько срочно вам нужно его внедрить — мы применим его при следующем развёртывании.

Огромное спасибо за исправление и за столь оперативную реакцию, @zogstrip и @sam!

Дайте знать, насколько срочно вам нужно это исправить.

Это не срочно.

Я решил проверить, можно ли использовать плагин «Automation» для упрощения работы по техническому обслуживанию и модерации нашего форума, однако это лишь потенциальное улучшение, а не что-то критически важное. Эта ошибка действительно стала препятствием для презентации проекта команде модераторов, поэтому я с нетерпением жду момента, когда наш форум будет обновлён до версии Discourse с этим исправлением. Тем не менее, я уже использую систему лично (поскольку я администратор и, следовательно, вижу флаги).

Задержка может даже пойти на пользу: возможно, мне удастся повысить надёжность системы до того, как модераторы оценят её готовность.

1 лайк

Эта тема была автоматически закрыта через 6 дней. Новые ответы больше не принимаются.