Soy doctor en aprendizaje automático y he estado pensando en crear una herramienta que permita a cualquiera entrenar una IA personalizada para ayudar con la moderación de contenido en los foros de Discourse. ¿Sería esto algo que la gente aquí desearía?
Sé que existe la API de Perspectiva de Google, pero es muy genérica. Mi idea es que haya un plugin donde puedas moderar publicaciones y que, automáticamente, entrene un clasificador de texto para aprender de tu moderación. Por ejemplo, si marcas una publicación como que contiene lenguaje tóxico o está fuera de tema, el sistema aprende de ti y puede señalar publicaciones similares o incluso moderarlas de forma preventiva.
Los clasificadores de texto (utilizados, por ejemplo, en foros) llevan mucho tiempo existiendo.
Por lo general, este tipo de clasificación y puntuación de texto se realiza con clasificadores bayesianos.
Si realizas una búsqueda en Google con las palabras clave:
bayesian classifier ruby
y/o
bayesian classifier javascript
encontrás una gran cantidad de librerías y ejemplos de clasificación de texto utilizando clasificadores bayesianos.
Hemos utilizado diversos clasificadores bayesianos a lo largo de los años para la moderación de publicaciones en foros, la detección de spam y más; e implementamos código personalizado para entrenar el clasificador cuando los moderadores realizan acciones de moderación.
Un problema potencial aquí es que muchas tareas de moderación no son un simple castigo, sino que son más complejas, como “cerrar el tema durante 12 horas”, “esto debe ser un post wiki” o “esto debe moverse a una categoría diferente”.