休暇後に少し気が散ってしまいましたが、まもなくスコアリングを再確認し、いくつかの不満点を解消できるか見てみたいと思います。
「いいね！」 6
これは別の例です。スレッドレベルが低いユーザーが、投稿を隠す感度を「低」に設定したシステムで、1つのフラグだけで投稿を隠すことができます。隠す前に必要なフラグ数を増やすようにシステムを調整するにはどうすればよいでしょうか？
「高」に設定してテストしたところ、投稿が隠される可能性が高まりました。投稿を隠すスコアを少なくとも10、あるいは15以上にする設定を追加することは可能でしょうか？
@eviltrout さんは今週それを確認されていると思います。例をありがとうございます。
「いいね！」 1
感度を低く設定して、その値を確認してもらえますか？感度は何に設定されていましたか？
フィードバックをありがとうございます。とても役立ちました。
正直に申し上げますと、最初に投稿された例がなぜ起きたのか理解できません。投稿を非表示にした後に感度を変更された可能性はありませんか？TL0 ユーザーが閾値より低いスコアで非表示になる別の方法はないようです。
今後のデバッグのために、非表示になった時点でのスコアを保存する必要があるかもしれません。
さて、2 番目の質問である閾値がずれている件についてですが、あなたの最低感度が 4.8 なのに、TL0 ユーザーがスコア 6 を取得できるのであれば、何かおかしいと私も同意します。
最初のスクリーンショットに基づいた最初の質問ですが、TL0 ユーザーがどのようにして 5 の精度スコアを取得したのでしょうか？ユーザーを TL0 に固定していますか？精度が反映されるためには、少なくとも 5 つのフラグが必要だからです。TL0 ユーザーがその信頼レベルのまま、これほど正確なフラグ付けを続けるのは私にとっては不自然に思えます。これは、彼らのフラグが 100% 承認されたことを意味します。
彼らのフラグのうち、承認された数、却下された数、合計数を教えていただけますか？これは、レビュー対象のサムズアップアイコンにマウスをホバーすることで確認できます。
「いいね！」 2
確認してみます。最近、デフォルトから「低」に変更しましたが、この投稿は新規のものだったと思います。投稿がユーザーに対して非表示になった後、統計データを保存していなければ精度が低下した可能性があると考えていました。
私たちのすべてのユーザーは TL0 または TL1 です。Discourse を一般的なユースケースとは少し異なる方法で使用しています。
そのため、信頼レベルを変更せずに 5 件の投稿をフラグ付けした可能性もあります。信頼レベルの仕組みについては深く調査していません。また、感度設定はデフォルトのままだったので、フラグ付けによる投稿の非表示化は比較的容易だったようです。
後で確認できますが、現在いる場所ではそのデータにアクセスできません。
データを確認する機会があれば、ご連絡ください。
私の一部では、ユーザーが過去に行ったフラグ付けのすべて（5件以上）で正解だった場合、その投稿は非表示にするべきだと考えています。そのユーザーは何かを分かっていますから！
「いいね！」 3
残念ながら、システムが破損しているというユーザーからのフィードバックが多数寄せられていますが、どうやらそれは誤りのようです。ユーザーは単にいくつかの他のフラグに依存するだけで、神のような権限を得ることができます。
「いいね！」 2
私は、信頼性やユーザーに関わらず、単一のフラグだけでスパムではない投稿を非表示にするのは十分ではないという意見に同意する傾向があります。
「いいね！」 5
tl0 で精度 5.0 のユーザーは 100 件の正確なフラグを持っており、高得点になるのは理解できます。しかし、そのユーザーは 1 件の投稿でフラグを隠したいのではなく、不適切だと考えられることを通知し、他のユーザーが同意するかどうかを確認したいと考えています。少なくとも、私たちへ連絡して苦情を述べてくるユーザーについてはその通りです。また、同意率が 100% でフラグ数が 5 件しかない他のユーザーも確認できます。彼らも同じ権限を持ち、承認されたフラグの数はすぐに増加すると想定されます。
さらに、37 件のフラグで同意率 84% のユーザーも確認できます。このユーザーの精度は 4.2 で、tl0 と低感度の設定であれば 1 件のフラグで内容を隠すのに十分な値です。
最初のフラグで内容を隠せる場合、わずかに不適切な内容に対してフラグを付けることができず、相手が明らかにルールを逸脱するまで待つことを学ばなければなりません。
私たちのユーザーは「3 回ストライクで退場」というシステムに慣れています。システム調整中は、少なくともそのオプションを再導入することを検討してください。これが不可能な場合、古いバージョンのソースコードへのダウングレードを検討していますが、ダウングレード時のバックアップのデータ整合性に少し懸念があります。
「いいね！」 4
もう少しだけお時間をいただけますと幸いです。修正を行います。
あるユーザーが他のフラグに便乗して内容を非表示にできるという点に問題があることは、私も確かに認識しています。いくつかのアイデアがあり、すぐに試せるものを用意します。
「いいね！」 8
その案は良さそうです。直接フィードバックが欲しい場合は、アイデアを箇条書きでまとめてください。
不適切な投稿を3〜5回のフラグで非表示にできる状態になれば嬉しいです。そうなれば、経験豊富なユーザーが新規ユーザーよりも発言権をより持てるようになります。
「いいね！」 3
これに強く賛成します。もっと早く返信し、私がモデレーションを担当しているフォーラム固有の設定についてさらに情報を収集するよう催促するつもりでしたが、残念ながら非常に深刻な個人的な事情が邪魔をしました。
また、この情報がモデレーターにも表示されるようにしていただけると幸いです。多くのフォーラムで、メンバーやフラグと対話するのは主にモデレーターだからです。
「フラグが3つ付くと投稿が非表示になる」というのは、誰もが問題なく理解できる表現です。「これはどうかな？」とフラグを付けることで、次のスタッフのログイン時にリストの一番上に持ち上げられ、他の2人のメンバーも同じように感じた場合、投稿が非表示になりますが、誰かの行動単独で劇的な結果を引き起こすことはありません。
Discourse ならではの、非常に望ましい「メンバーによるモデレーション」の側面について、メンバーに説明しやすい仕組みがあれば、可能であれば本当に助かります。
その一方で、意図的に無視して重みを51%まで下げた信頼レベル3（TL3）の信頼できるメンバーは、依然として単一のフラグで投稿を非表示にできていました。この問題は、情熱が高まっていたトピックで定期的に問題を引き起こし続けています（そのためフラグが付いたのです）。人々が自分の返信が即座に非表示になるのを見ると、モデレーションの作業量が大幅に増加しました。
それをモデレーターが参照可能にする（編集可能にするのではなく）ことは、私が先ほど述べたように、日常的にフラグに関与する主な人々にとって有益な回答を得るのに役立ちます。現時点では、私はそのような回答を提供できません。管理者に設定のスクリーンショットを依頼しましたが、彼も私も忙しいため、あなたの投稿は私が残念ながら見ることすらできないものを説明しているのです。
ただし、カスタム設定は持っていないと思います。
フラグに高い割合で「同意」されていないユーザーにフラグ地獄を追加すると、単にモデレーターに何かを確認させるために提出されたフラグを「同意」せざるを得なくなり、新たな落とし穴を生むリスクがあります。特にそれが管理者にしか表示されない場合です（その点について繰り返し言及して申し訳ありません）。
したがって、このような仕組みが作成される場合は、モデレーターが誰がフラグ地獄にいるかを手動で確認し、誰かの重みを手動で上げ（または下げる）る方法を提供することを検討してください。モデレーターはすでに信頼レベルを変更したりロックしたりできますが、これは非常に似ています。
「いいね！」 4
ただ一言言いたかったのですが、私も強く賛成します。
@Ubik が述べていたように、私の感覚にも合っています。新しいシステムはより賢く、長期的には正しい判断を下すかもしれませんが、メンバーに説明するのがはるかに難しくなっています。私のコミュニティの多くのメンバーは新しい変更を理解しておらず、その結果、混乱が広がっています。この混乱によって、一部のメンバー間で対立が生じてしまいました。今では「不満を持つメンバーの集団が新しい投稿をフラグ付けて隠している」という陰謀論が広まっていますが、実際には単一のフラグによって投稿が自動非表示になっただけです。
@Pekkanen が言っていたように、もし3〜5回のフラグで投稿が非表示になるようにできれば、それが理想ですね！
「いいね！」 3
この議論の大半は、当然ながら統計と設定について行われてきました。
しかし、ここで触れる必要がある非常に重要な点があります。それは、フラグは常に「投稿を削除する必要があるから同意する」と「誤ってフラグを立てたユーザーを降格させる必要がある」という二項対立ではなく、その中間の余地があるということです。以下に例を示します。
私の経験から言うと、最も多くのフラグを立てるユーザーは、問題になる前の些細な点を指摘したり、以前禁止された悪質ユーザーと同じ言葉遣いを発見したため誰かをチェックしてほしいと依頼したり、あるいは単にモデレーターがトピックを確認し、ガイドラインが必要かどうかを見てほしいと望んだりしています。
この種の感受性により最も有益なフラグを立てるメンバーは、必ずしもすべてのフラグが「同意」されるわけではありません（私の理解では、フラグに同意することは、フラグ対象ユーザーの TL3 への昇進に影響を与えるため、同意をデフォルトの行動とすることは適切ではありません）。
私がモデレートしているフォーラムでは、Discourse へ移行してから TL3 メンバーをモデレーションプロセスに積極的に巻き込んでおり、PM やラウンジのトピックを通じて、モデレーションやルールの適用などに関する定期的な対話を行っています。常連ユーザーは質問をしたり、あらゆる決定の具体的な理由を問い質したり、フィードバックや提案を出したりできることを知っており、これは極めて成功し、高く評価されています。
問題のわずかな兆候だけでもフラグを立てることで、早期に問題を発見し、モデレーションの作業量が大幅に削減されました。その結果、フォーラムには「ライトなモデレーター権限」を持つ dozen 人以上の人物が、それを使う自信を持って、24 時間 365 日オンラインで活動しています。これにより、Discourse への移行以降、メンバー数が急増したにもかかわらず、当フォーラムは安定し、結束を保つことができました。
また、これは非常に効果的です。フラグの使い方に自信を持っている常連ユーザーが関与することで、なりすましやスパマーが数分以内に排除されるようになりました。また、フォーラムの守り手として関与できるというポジティブな効果を見て、常連ユーザーはさらに一歩進んで新規ユーザーを導き、手順を教えるようになり、フォーラム全体の文化に良い影響を与えています。
TL3 の常連ユーザーも、これに参加するかしないかを選ぶことができます。これは彼らが果たさなければならない義務ではなく、問題を見つけた瞬間にツールが手元にあるだけです。
これはほぼ完璧なシステムであり、その成否は以下の 2 点にかかっています：1. フラグが以前のように理解しやすく、説明しやすいこと、2. 単一のフラグによって何らかの事態が発生しないという確信を、TL1 や TL2 を含むメンバーが持てるようにすること。したがって、エラーを心配する必要はなく、気になることがあれば行動してください。
経験豊富なモデレーターも、偽陽性をよく起こします（TSA や医師、問題を探す役割を担う人々と同様です）：誰かを疑うが、それが誤りだったと判明することもあります。また、メンバーは IP アドレスを確認したり、過去の削除された投稿を見たりできないため、誤りになる可能性は経験不足だけでなく、これらの制限にも起因します。したがって、人々がフラグを使うことに自信を持てるようにするためには、単一のフラグによって誰にも悪いことが起きないという保証が必要です。
最後に、フラグが「勝つか負けるか」のものになり、関与する 2 人のユーザーのどちらかが損失を被るリスク（フラグの地獄に X% 近づく、または TL3 に対する 1 年間のストライクの 5 分の 1 など）がある場合、モデレーターはフラグが立てられた際に考慮すべき情報のレベルと、下すべき決定のセットがもう一つ増えます。
- フラグが立てられた投稿や、それを作成した人物について何をすべきか（これは仕事の一部分ですが）、
- ルールを破っていない人に対してこのフラグに同意するか、あるいは善意でフラグを立てた人の重みを下げるか？
これらの複雑さを加味すると、争点のあるトピックや紛争を解きほぐすこと自体がすでに時間がかかり複雑であるのに、さらにこの考慮事項が加わることになります！
さらに、多くのフォーラムユーザーは英語を母国語としておらず、英語を母国語としない他のユーザーの投稿を世界の片隅で読んでいる場合もあり、これにより、何の過ちも犯していないユーザーに対して、真剣な意図でフラグが立てられる理由がさらに増えます。
これらの複雑さを踏まえて、以下の提案が不可能（または望ましくない）である場合：
… なら、フラグを立てられたユーザーも、フラグを立てたユーザーも、重み付けや上位の信頼レベルへの昇進に何の変化も見られないように、「無視」機能を維持してください。「無視」は、より有用な「何もしない」と呼ばれるべきかもしれません。
「いいね！」 6
BBS でも同様のことが起きています。「その他」フラグが「モデレーターに何かを知らせる」ために使われることが多く、それはポストにフラグの重みをつける意図を含む場合も含まない場合もあります。
「その他」フラグタイプでモデレーターにメッセージを送る機能を、ポストのフラグ付けから切り離すことはできないかと思いました。「このユーザーにプライベートメッセージを送りたい」という機能と同じポップアップで、異なる効果を持つようにする、というやり方です。
「いいね！」 6
この提案が解決する問題はないと思います。なぜなら、問題は「その他のフラグ」がやりすぎていることであって、「その他」がさらにやるべきことが少ないことではないからです。
アラートの「階層」を作成し、それをすべてのメンバー（Regulars だけでなく、オンライン翻訳を利用している人々や英語が限定的な人々も含む）に周知することは、Discourse のモデレーターにとって時間のかかる作業をさらに増やすことになります。多くのモデレーター（私自身もそうですが）は、ボランティアとしてのモデレーションと忙しい日常生活のバランスを取っています。また、明確なメリットがないまま、ユーザーが適応しなければならない新たな変更も増えることになります。
例えば、私が過去に長期間にわたって「フラグの仕組み」について説明した膨大な数の投稿を、私だけでなく他の人々も含めて編集しなければなりません。これらの投稿は、助けを求める新規ユーザーが検索で見つける可能性があります。さらに、すべてを完了させた後でも、変更を知らないユーザーが誤った行動を起こし、その説明を受けて恥ずかしい思いをした上で、将来のフラグ利用をためらう危険性が残ります。
（一日中「壊れていなければ直さないで」と言うのを控えてきましたが、ここでは言わざるを得ません。）
また、他のタブで作業中（フォーラムとは無関係の有料業務や、議論の主題に関連するトピックへの回答など）の場合、新しい PM 通知にすぐに反応しないこともありますが、赤いフラグアイコンには常に即座に対応します。
私の本当の理想は、TL3（レベル 3）のメニューに追加のフラグオプションがあり、それがワンクリックで投稿を非表示に設定され、スタッフに「規則違反：スタッフによるレビュー待ちとしてこの投稿を非表示にしました」という内容の通知 PM（ログアウト中の場合はそれに伴うメール）を送信し、追加情報を入力できるフィールドがあることです。その後、各フォーラムは、明らかな脅威などの基本的なもの以外に、Regulars にこの機能を使うべき具体的な規則を決定できるようにします。
これにより、ユーザーが何を編集できるか・すべきか、またトピックの統合、分割、閉鎖などの他の機能をいつ・どのように使うべきかについて、慎重なトレーニングを必要とせずに、Discourse TL4 の最も頻繁に必要とされ、かつ有用な機能を提供できます。
それに、ついでに言えば、モデレーターが「すべてのフラグ」に対して PM を受け取るオプションを持ち、その PM には理由（不適切、トピック外など）と、フラグ付けされたトピック/投稿の件名＋一部抜粋（oneboxed）が含まれるようにすることも考えています。
もちろん、これは単に PM を受け取るためではなく、ログアウト時に生成されるメールによるものです。これはトリアージと時間管理を支援します。もし誰かが知りたいのであれば、これがどのように役立つのかについてさらに詳しく説明できます。
「いいね！」 3
他のタスクに追われていましたが、順調にいけば来週初めには、1 つのフラグでコンテンツが隠れてしまう問題について進展させる予定です。
「いいね！」 5
つまり、フラグは非表示であるにもかかわらず、同じ投稿に対して秘密裏に共謀してフラグを立てるという発想でしょうか？裏側では、連動してフラグを立てるという暗黙の合意が存在する可能性がありますか？それによって得られるのは、投稿を迅速に非表示にする成功だけですが、これらのフラグは最終的にスタッフによって取り消され、フラグを立てた全員にとってフラグの重み付けが低下するため、この行為にはフラグの重み付けが減少するという形で長期的な代償が伴うことになりますか？
高度な解決策としては、共謀を検知して追加のペナルティを科す方法がありますが、これは非常に複雑です。