みなさん、こんにちは！
私は機械学習の博士課程在籍者で、Discourse フォーラムのコンテンツモデレーションを支援するためのカスタム AI を誰でも訓練できるようにするツールを作ろうかと考えています。このアイデアに皆さんは関心がありますか？
Google の Perspective API というものがあることは知っていますが、それは非常に汎用的です。私の考えでは、投稿をモデレーションできるプラグインがあり、それがあなたのモデレーション行動からテキスト分類器を自動的に学習するというものです。例えば、特定の投稿を「有害な言語」や「トピックから外れている」とマークすると、システムはその判断を学習し、類似の投稿を自動的に検出したり、事前モデレーションを行ったりできるようになります。
皆さんはどう思いますか？
カスタム学習モデルに基づいて分類されていないトピックを自動分類することも、あれば嬉しいです。
テキスト分類器（例えばフォーラムで使用されるもの）は、昔から存在しています。
通常、このようなテキストの分類やスコアリングは、ベイズ分類器を用いて行われます。
キーワード「bayesian classifier ruby」で Google 検索をしたり、
bayesian classifier ruby
または
bayesian classifier javascript
と検索すると、ベイズ分類器を用いたテキスト分類の無数のライブラリや例が見つかります。
私たちは長年にわたり、フォーラム投稿のモデレーション、スパム検出などにさまざまなベイズ分類器を使用しており、モデレーターがモデレーションアクションを実行する際に分類器を学習させるためのカスタムコードを実装してきました。
参考になれば幸いです。
ここで考えられる問題の一つは、多くのモデレーション作業が単純な処罰ではなく、「トピックを12時間閉鎖する」「これをウィキ投稿にする」「別のカテゴリに移動する」など、より複雑な対応を要する点です。
頑張ってください！