Sou doutor em aprendizado de máquina e tenho pensado em criar uma ferramenta que permita a qualquer pessoa treinar uma IA personalizada para auxiliar na moderação de conteúdo nos fóruns do Discourse. Isso seria algo que vocês gostariam?
Sei que existe a API Perspective do Google, mas ela é muito genérica. Minha ideia é ter um plugin onde você possa moderar posts e, automaticamente, treinar um classificador de texto para aprender com sua moderação. Por exemplo, se você marcar um post como contendo linguagem tóxica ou fora do tópico, ele aprende com você e pode sinalizar posts semelhantes ou até mesmo pré-moderá-los.
Classificadores de texto (usados em fóruns, por exemplo) existem há muito tempo.
Tipicamente, esse tipo de classificação e pontuação de texto é realizado com classificadores bayesianos.
Se você fizer uma pesquisa no Google com as palavras-chave:
bayesian classifier ruby
e/ou
bayesian classifier javascript
Você encontrará inúmeras bibliotecas e exemplos de classificação de texto usando classificadores bayesianos.
Ao longo dos anos, utilizamos vários classificadores bayesianos para moderação de posts em fóruns, detecção de spam e muito mais; e implementamos código personalizado para treinar o classificador quando os moderadores realizam ações de moderação.
Um problema potencial aqui é que muitas tarefas de moderação não são apenas uma punição simples, mas são mais complexas, como “fechar o tópico por 12 horas”, “isso precisa ser um post wiki” ou “isso precisa ser movido para uma categoria diferente”.