自定义AI内容审核

大家好!

我是一名机器学习博士,一直在思考开发一款工具,让任何人都能训练自定义的 AI,以协助 Discourse 论坛的内容审核。大家对此感兴趣吗?

我知道 Google 的 Perspective API,但它非常通用。我的想法是开发一个插件,允许你在审核帖子时,自动训练一个文本分类器来学习你的审核行为。例如,如果你将某条帖子标记为包含有毒语言或偏离主题,系统会从中学习,并能够标记类似帖子,甚至对其进行预先审核。

大家怎么看?

基于自定义训练模型对未分类主题进行自动分类,这一点也很不错。

文本分类器(例如在论坛中使用)已经存在很长时间了。

通常,这类文本分类和评分是通过贝叶斯分类器完成的。

如果您使用以下关键词在 Google 上搜索:

bayesian classifier ruby

和/或

bayesian classifier javascript

您会发现大量使用贝叶斯分类器进行文本分类的库和示例。

多年来,我们一直使用各种贝叶斯分类器进行论坛帖子审核、垃圾邮件检测等,并实现了自定义代码,以便在版主执行管理操作时训练分类器。

希望这能帮到您。

这里的一个潜在问题是,许多管理任务并非简单的处罚,而是更为复杂,例如“将主题关闭 12 小时”、“这需要设为维基帖子”或“这需要移动到不同的分类”。

祝你好运!