После отпуска я немного увлекся другими делами, но надеюсь вскоре вернуться к оценке и посмотреть, можно ли исправить некоторые замечания.
6 лайков
Итак, сегодня я наконец-то нашел время на обновление, и это один из наших скрытых постов. Можешь объяснить, почему он был скрыт?
Вот еще один пример: пользователь с низким уровнем доверия может скрыть пост с помощью одного флага в системе, где чувствительность скрытия постов установлена на «низкую». Как настроить систему так, чтобы для скрытия содержимого требовалось больше флагов?
Я протестировал настройку «высокая» чувствительности скрытия постов — похоже, это увеличивает вероятность скрытия постов. Не могли бы вы добавить настройки, где порог «Скрыть пост» составляет минимум 10 или даже 15 баллов?
Полагаю, @eviltrout посмотрит на это на этой неделе, спасибо за примеры.
1 лайк
Можете ли вы попробовать установить чувствительность на низкий уровень и проверить, какое значение будет установлено? На какой уровень чувствительности она была установлена ранее?
Спасибо за ваш отзыв, он очень полезен.
Честно говоря, я не понимаю, почему возник первый пример, который вы привели. Возможно, вы изменили чувствительность после того, как пост был скрыт? Кажется, нет другого способа для пользователя TL0 скрыть пост с рейтингом ниже порога.
Возможно, мне действительно нужно сохранять рейтинг в момент скрытия для будущей отладки.
Теперь по вашему второму вопросу о том, что пороги установлены неверно. Я согласен, что если минимальная чувствительность для вас составляет 4,8, а пользователь TL0 может получить рейтинг 6, то здесь что-то не так.
Мой первый вопрос, основанный на первом скриншоте: как пользователь TL0 мог получить рейтинг точности 5? Вы блокируете пользователей на уровне TL0? Ведь для того чтобы их точность начала действовать, им нужно как минимум 5 отметок. Мне кажется необычным, что пользователь TL0 остаётся на этом уровне доверия, выполняя столь точные отметки. Это подразумевает, что 100% их отметок были согласованы.
Можете ли вы сообщить, сколько их отметок было согласовано / не согласовано / всего? Это можно увидеть, наведя курсор мыши на значок большого пальца вверх в разделе «Обзор».
2 лайка
Я могу проверить, мы недавно перешли со значений по умолчанию на низкие, но, кажется, этот пост был новым. Я думал, что точность могла снизиться после того, как пост был скрыт для пользователя, если вы не сохраняете статистику на момент его скрытия.
Все наши пользователи находятся на уровнях TL0 или TL1, мы используем Discourse немного иначе, чем в типичных сценариях.
Так что возможно, что он пометил 5 постов, не изменив уровень доверия. Я не углублялся в то, как работают уровни доверия. У нас также были настройки по умолчанию в отношении чувствительности, поэтому скрытие постов через флаги казалось довольно простым.
Я смогу проверить позже, у меня нет доступа к данным из того места, где я сейчас нахожусь.
Я хотел бы получить обратную связь, как только у вас появится возможность просмотреть данные.
Отчасти я также считаю, что если пользователь был прав в 100% случаев флагов, которые он выполнил ранее, особенно если их больше пяти, то пост должен быть скрыт. Этот пользователь знает, что делает!
3 лайка
К сожалению, мы получаем множество отзывов от пользователей о том, что система сломана, но, apparently, это не так: пользователю достаточно воспользоваться несколькими другими флагами, и у него появляются божественные возможности.
2 лайка
Я склонен согласиться, что одного флага, независимо от его достоверности или пользователя, недостаточно для скрытия поста, если это не спам.
5 лайков
У пользователя с точностью 5.0 на уровне tl0 есть 100 подтверждённых флагов, поэтому я понимаю, почему он получает высокий балл. Однако этот пользователь не хочет скрывать контент одним флагом; он хочет сообщить, что считает это неуместным, и посмотреть, согласятся ли с ним другие пользователи. По крайней мере, это верно для тех пользователей, которые связываются с нами и жалуются. Я также могу найти других пользователей со 100% согласованностью и всего 5 флагами; у них такая же сила, и я предполагаю, что количество одобренных флагов быстро вырастет.
Также я вижу пользователя с 84% согласованности по 37 флагам; его точность составляет 4,2, чего достаточно, чтобы скрывать контент одним флагом на уровне tl0 при низкой чувствительности.
Если он скрывает контент с первого флага, он не может отмечать слегка неуместные материалы, а вынужден ждать, пока кто-то перейдёт все границы.
Наши пользователи привыкли к системе «три предупреждения и ты出局» (три strikes и ты出局), поэтому, пожалуйста, рассмотрите возможность вернуть эту опцию, по крайней мере, пока вы настраиваете систему. Мы рассматриваем возможность отката к старой версии исходного кода, если это невозможно, но немного беспокоимся о согласованности данных в резервных копиях при откате.
4 лайка
Пожалуйста, дайте нам немного времени, чтобы внести небольшие правки.
Я определенно вижу проблему здесь: когда один пользователь может скрывать нежелательные элементы, это приводит к злоупотреблениям с другими флагами. У меня есть несколько идей, и я скоро предложу решение для проверки.
8 лайков
Звучит хорошо. Если вы хотите получить прямую обратную связь, не стесняйтесь излагать свои идеи.
Я был бы рад, если бы удалось достичь состояния, когда 3–5 флагов скрывают неподобающий пост, и чтобы опытные пользователи имели больше влияния, чем новички.
3 лайка
Я полностью поддерживаю эту идею. Я планировал ответить гораздо раньше и уточнить информацию о настройках, специфичных для форума, где я являюсь модератором, но, к сожалению, возникли очень серьёзные личные обстоятельства.
Также было бы здорово, если бы эта информация была доступна и модераторам, поскольку именно они в большинстве случаев на большинстве форумов взаимодействуют с участниками и флагами.
Фраза «три флага скрывают пост» понятна всем без каких-либо проблем: каждый знает, что может поставить флаг со словами «эй, я не уверен в этом», что сразу поднимет пост в начало списка для следующего сотрудника, который войдёт в систему. Если ещё два участника разделят это мнение, пост будет скрыт, но действия одного человека не приведут к каким-либо радикальным последствиям.
Будет очень здорово, если удастся создать что-то столь же простое для объяснения участникам, чтобы реализовать столь желаемый аспект самоконтроля сообщества, уникальный для Discourse.
Тем временем надёжный участник с уровнем доверия TL3, чьи флаги я намеренно проигнорировал, чтобы снизить его вес до 51%, всё ещё мог скрывать посты одним флагом. Эта проблема продолжает периодически вызывать сложности в темах, где страсти уже были накалены (отсюда и флаги), когда люди видят, что их ответ сразу скрывается. Это значительно увеличило нагрузку на модерацию.
Если сделать эту информацию видимой для модераторов (но не редактируемой ими), а не только для администраторов, как я уже говорил, это дало бы мне полезный ответ, тогда как сейчас я не могу его предоставить. Я запросил скриншоты наших настроек у своего администратора, но он был занят, и я тоже, поэтому ваш пост описывает то, что я, к сожалению, даже не вижу. 
Хотя я не думаю, что у нас есть какие-либо пользовательские настройки.
Введение «чистилища флагов» для пользователей, чьи флаги редко подтверждаются, означает, что нам придётся начинать подтверждать флаги, которые ставились лишь для того, чтобы привлечь внимание модераторов к проверке чего-либо, что создаёт риск возникновения новой ловушки. Особенно если это будет видно только администраторам (извините, что снова об этом говорю).
Поэтому, если такой механизм будет создан, пожалуйста, рассмотрите возможность предоставить модераторам ручной способ видеть, кто находится в «чистилище флагов», и вручную увеличивать (или уменьшать) вес пользователя? Модераторы уже могут изменять и блокировать уровни доверия, и это очень похоже.
4 лайка
Просто хочу сказать, что я полностью поддерживаю это. 
То, как @Ubik это сформулировал, кажется мне очень точным: хотя новая система умнее и, возможно, в долгосрочной перспективе будет принимать правильные решения, её гораздо сложнее объяснить участникам. Многие участники моего сообщества не понимают новых изменений, что, в свою очередь, вызывает массу путаницы. Эта путаница привела к возникновению неприязни между некоторыми участниками. Преобладающая конспирологическая теория гласит, что существует группа недовольных участников, которые помечают новые посты, чтобы скрыть их, тогда как на самом деле пост был автоматически скрыт всего одной отметкой.
Как сказал @Pekkanen, если бы мы могли прийти к ситуации, когда пост скрывается после 3–5 отметок, это было бы идеально!
3 лайка
Большая часть этого обсуждения, естественно, касалась статистики и настроек.
Однако я должен затронуть один момент, потому что он очень важен: флаги не всегда являются бинарным вопросом — «согласиться с флагом, потому что пост нужно удалить» против «этот пользователь ошибочно подал флаг и должен быть понижен», без какого-либо промежуточного варианта. Ниже я приведу примеры:
По моему собственному опыту, пользователи, подающие больше всего флагов, часто указывают на мелкие проблемы до того, как они превратятся в серьёзные, или просят проверить кого-то, потому что заметили использование слов, характерное для ранее забаненного нарушителя, либо просто хотят, чтобы модераторы посмотрели на тему и решили, нужна ли ей какая-либо коррекция.
Участники, чьи флаги наиболее полезны благодаря такой чувствительности, не всегда получают согласие по каждому флагу (и, насколько я понимаю, согласие с флагом влияет на прогресс пользователя до уровня доверия TL3, поэтому согласие не является подходящим действием по умолчанию).
Форум, который я модераторирую, с момента перехода на Discourse активно вовлекает участников уровня TL3 в процесс модерации. У нас регулярно проходят обсуждения через личные сообщения и в темах в Зале отдыха, касающиеся модерации и применения правил и т.д. Постоянные участники знают, что могут задавать вопросы, уточнять точные причины любого решения, а также давать обратную связь и предложения. Это оказалось чрезвычайно успешным и хорошо принятым сообществом.
Подача флагов даже при малейших подозрениях на проблему значительно сократила нагрузку на модерацию, позволяя выявлять проблемы на ранней стадии. В результате на форуме постоянно, 24/7/365, находятся более десятка человек, обладающих правами, близкими к правам модератора, и, что важно, уверенностью в их использовании. Это позволило сохранить стабильность и сплочённость форума, даже несмотря на быстрое расширение состава участников после перехода на Discourse.
Это также очень эффективно: когда постоянные участники активно вовлекаются, потому что уверенно используют флаги, потенциальные тролли и спамеры блокируются в течение нескольких минут. Кроме того, видя положительный эффект от своей роли хранителей форума, постоянные участники активно помогают новым пользователям, объясняя им правила, что положительно повлияло на культуру форума в целом.
Участники уровня TL3 также знают, что могут участвовать в этом процессе или нет — это не обязанность, которую они обязаны выполнять, но у них есть инструменты в момент обнаружения проблемы.
Это почти идеальная система, и она зависит от двух вещей: 1) флаги должны быть понятными и легко объяснимыми, как это было раньше, и 2) участники, включая TL1 и TL2, должны быть уверены, что ничего не произойдёт из-за одного флага, поэтому не стоит бояться ошибок — просто действуйте, когда видите что-либо, что вызывает беспокойство.
Опытные модераторы довольно часто сталкиваются с ложными срабатываниями (как и сотрудники TSA, врачи и любые специалисты, чья задача — выявлять проблемы): мы подозреваем кого-то, но затем оказывается, что наше подозрение было ошибочным. Поскольку участники не могут проверять IP-адреса или видеть ранее удалённые посты, они могут подавать больше флагов не только из-за неопытности, но и из-за отсутствия такой информации. Поэтому, поощряя людей уверенно использовать флаги, необходимо гарантировать, что из-за одного флага никому не будет нанесён вред.
И наконец, если флаги становятся вопросом «победы или поражения», где один из двух участников рискует потерять что-то (на X% ближе к чистилищу флагов или одна пятая удара по уровню TL3 на год), это создаёт для модераторов дополнительный уровень информации, который нужно учитывать, и набор решений, которые нужно принять при подаче флага:
- Что мне нужно сделать с помеченным постом и/или человеком, который его создал — это часть работы, но теперь также
- Согласиться ли мне с этим флагом против человека, который не нарушил правила, или уменьшить вес пользователя, подавшего флаг добросовестно?
Развязывание некоторых спорных тем или споров уже само по себе может быть трудоёмким и сложным, не говоря уже о добавлении этого дополнительного фактора!
Учитывая также, что многие пользователи форумов не являются носителями английского языка и могут читать посты других участников с другой стороны света, для которых английский также не является родным, это добавляет ещё одну причину, по которой флаги могут быть поданы с искренними намерениями против пользователя, который ничего не нарушил.
С учётом этих сложностей, если следующее невозможно (или нежелательно):
… пожалуйста, оставьте опцию Ignore (Игнорировать), чтобы ни помеченный пользователь, ни пользователь, подавший флаг, не видели никаких изменений в весе или прогрессе к более высокому уровню доверия. Возможно, «Ignore» было бы полезнее назвать «No Action» (Без действий)?
6 лайков
Такое же происходит и на BBS, где флаг «что-то ещё» часто используется для «привлечения внимания модераторов», что может, а может и не включать намерение увеличить вес флага для поста.
Интересно, не стоит ли отделить возможность отправки сообщения модераторам через флаг «что-то ещё» от самого флага поста, так же как это сделано для функции «Я хочу отправить личное сообщение этому пользователю» (одно и то же всплывающее окно, но разный эффект).
6 лайков
Я не думаю, что это решит какую-либо проблему, поскольку суть в том, что другие типы флагов берут на себя слишком много функций, а не в том, что «Что-то ещё» должно делать ещё меньше. 
Создание уровней оповещений и информирование об этом всех участников (а не только Регулярных пользователей, причём многие из них используют онлайн-переводчики или имеют ограниченный английский) добавит ещё один слой трудоёмкой работы для модераторов Discourse. Многие из них, как и я, совмещают волонтёрскую модерацию с насыщенной жизнью. Кроме того, это потребует от пользователей дополнительной адаптации к изменениям без очевидной пользы.
Например, мне пришлось бы отредактировать огромное количество постов, где я и другие в течение длительного времени объясняли, как работают флаги. Эти посты всё ещё могут быть найдены новыми пользователями, ищущими помощь. И даже после того, как я сделаю всё это, остаётся риск, что пользователь, не осведомлённый об изменении, совершит ошибку, почувствует неловкость, когда ему это объяснят, и затем откажется от дальнейшего взаимодействия с системой флагов.
(Весь день я старался не говорить «если не сломано, не чини», но здесь, пожалуй, придётся это сказать.)
Кроме того, я не всегда сразу нажимаю на уведомление о новом личном сообщении, если занимаюсь другими делами в других вкладках (например, оплачиваемой работой, не связанной с форумом, или отвечаю в теме, относящейся к обсуждаемой теме). Однако я всегда сразу обращаю внимание на красный значок флага.
Моя идеальная ситуация была бы такой: у пользователей уровня TL3 должна быть дополнительная опция флага в меню, которая настраивается так, чтобы скрывать пост одним кликом и отправлять уведомление в ЛС персоналу (и соответствующее письмо по электронной почте, если пользователь не авторизован) с текстом вроде «Нарушение правил: я скрыл этот пост до проверки персоналом», с полем для добавления любой дополнительной информации. Затем каждый форум мог бы сам решать, какие именно правила (помимо очевидных, таких как угрозы) они хотят порекомендовать своим Регулярным пользователям использовать для этой цели.
Это дало бы наиболее часто необходимую и полезную функциональность Discourse уровня TL4, не требуя тщательного обучения пользователей тому, что они могут/должны редактировать, а также когда и как использовать другие функции, такие как слияние тем, разделение, закрытие и т. д.
И чёрт возьми, пока я уже об этом, для модераторов должна быть возможность получать ЛС, генерируемое всеми флагами, содержащее причину (Неподобающее, Не по теме и т. д.), тему флага/поста и небольшой выделенный фрагмент.
Речь, очевидно, не о самом ЛС, а о письме, которое оно генерирует при выходе из системы, что помогает в сортировке и управлении временем. Я могу подробнее объяснить, как это поможет, если кто-то захочет узнать.
3 лайка
Я застрял на множестве других задач, но если всё пойдёт по плану, то на следующей неделе я смогу продвинуться в вопросе скрытия контента с помощью одного флага.
5 лайков
Так что идея в том, что есть тайный сговор на флейм одного и того же сообщения, даже если флаги не видны? За кулисами может быть неявное соглашение флеймить синхронно? Всё, что они получат от этого, — это успех в быстром скрытии сообщения, однако эти флаги в конечном итоге будут отменены сотрудниками, что снизит вес флага для всех флеймителей, поэтому они платят высокую цену за такое поведение в виде снижения веса флага?
Продвинутое решение заключалось бы в том, чтобы обнаруживать сговор и добавлять дополнительное наказание, но это очень сложно.