Estoy buscando formas de integrar IA en mi foro de Discourse para ayudar con la moderación. No necesito que reemplace a mis moderadores, solo necesito ayuda para detectar cosas que los humanos normalmente no pueden ver. A veces, es porque estos problemas son literalmente invisibles para un moderador (como un spammer que está creando múltiples cuentas desde la misma dirección IP). Otras veces, es visible para un moderador, pero es fácil volverse perezoso y pasar por alto estas cosas (como un tema que se publica en la categoría incorrecta, o un tema que se desvía del rumbo).
Hay infinitas tareas con las que un moderador de IA podría ayudar. Solo algunas ideas que se me ocurren:
Monitorear todas las publicaciones nuevas para indicar la probabilidad de si son de spammers o usuarios legítimos.
Monitorear a los usuarios nuevos y su actividad hasta que hayan alcanzado un cierto nivel de confianza.
Detectar usuarios problemáticos que crean nuevas cuentas después de ser suspendidos.
Identificar temas que se han publicado en la categoría incorrecta y ofrecer sugerencias sobre a qué categoría deberían moverse.
Marcar y eliminar inmediatamente contenido NSFW.
Identificar cuándo la conversación en un tema se está desviando del rumbo o debería cerrarse.
Identificar cuándo un tema ya ha sido cubierto y debería ser redirigido.
Identificar cuándo un usuario ha creado múltiples cuentas (múltiples usuarios iniciando sesión desde la misma dirección IP).
Identificar cuándo un usuario está haciendo una publicación autopromocional o irrelevante.
Sin mencionar que (y esto iría en una dirección ligeramente diferente), hay momentos en que la IA podría incluso responder a ciertos temas con un perfil de IA claramente marcado. Por ejemplo, si alguien publica una pregunta sobre cómo usar el foro o dónde encontrar una función determinada (como cómo actualizar su perfil), el bot podría responder identificando cuándo es una pregunta que podría responder fácilmente, y luego podría intervenir y explicar cómo hacerlo.
Apenas estoy arañando la superficie aquí, pero la pregunta subyacente es: ¿Alguien ha creado un bot de IA que pueda ayudar con este tipo de tareas de moderación en Discourse?
Si no es así, ¿qué está frenando este tipo de innovación? Esto parece que sería increíblemente útil para los administradores de foros, no para reemplazar a los humanos (aunque eso puede ser posible en algunos casos), sino para ayudar a los humanos a hacer el trabajo mucho mejor.
No lo sé, pero supongo que: la IA es muy poco fiable y puede ser muy rápida y muy cara.
Algunas de esas opciones ya son posibles, aunque. Y no se usan comúnmente principalmente porque, bueno, la IA es poco fiable y necesita que un humano la supervise.
Un contestador automático que sigue todas las publicaciones y entra cuando se activa por contenido debe ser caro en cuanto a hardware y dinero puro. Pero un modelo que responda a nivel de categoría a todos los iniciadores de temas ya es posible.
Luego hay algo como vigilar la IP que es bastante fácil de cubrir sin IA, pero es realmente problemático. Tener la misma IP es bastante común.
Me enteré de esto ayer por @Jagster (gracias, Jakke, por señalarlo). He estado investigando un poco más, en particular la versión avanzada… y si lo estoy interpretando correctamente, parece que será algo costoso implementarlo, ya sea teniendo una cuenta de alojamiento Enterprise o un servidor autoalojado bastante potente.
De cualquier manera, es bueno saber que esto ya existe como una opción. Parece que cumple con algunos requisitos importantes, pero puedo pensar en muchas más formas en que se puede utilizar. Estoy emocionado de ver cómo esto continúa desarrollándose en los próximos meses y años. ¡Hay un gran potencial para este tipo de cosas!
Hay muchas cosas positivas potenciales para esto, también muchos riesgos y desventajas.
Stack Exchange tiene un bot de IA que revisa las respuestas y se lo mencionará al autor si su respuesta parece poco clara:
“Tal como está escrita, tu respuesta no está clara. Por favor, edita para añadir detalles adicionales que ayuden a otros a entender cómo esto responde a la pregunta formulada. Puedes encontrar más información sobre cómo escribir buenas respuestas en el centro de ayuda. -Bot de la comunidad”
Este tipo de aviso puede ser realmente útil para inspirar explicaciones más claras y evitar que las personas se sientan confundidas, frustradas o molestas con respuestas poco claras.
No consume muchos recursos en tu instancia autoalojada porque puedes usar modelos alojados, por ejemplo, openai. Así que solo pagas por las llamadas a la API para incrustaciones y chat.
He construido una integración personalizada para un cliente utilizando Discourse.
Recopilé la actividad de moderación pasada y entrené un PNL para marcar temas y comentarios que necesitaban atención.
Añadí un moderador de toxicidad también entrenado a partir de su actividad de moderación pasada.
Añadí una integración de sentimiento para ayudar a resolver rápidamente los comentarios.
El entrenamiento se realiza en Google Colab y el modelo se carga en GCP para servir APIs desde los webhooks de Discourse.
Me gusta usar foros porque todos somos personas reales con un interés u objetivo compartido. Cuando alguien responde con una respuesta incorrecta a una pregunta, otro usuario seguramente aparecerá para proporcionar una corrección. Supongo que lo mismo podría suceder si una IA diera una respuesta incorrecta, pero simplemente no es lo mismo. También es útil para nuestro propio pensamiento leer cómo otros abordan un problema; a menudo he llegado a nuevas formas de pensar al leer la respuesta bien razonada de alguien, o he aprendido una nueva forma de hacer algo que pensaba que ya sabía cómo hacer.
Otra consideración es el potencial de falsos positivos, que pueden (¡y lo hacen!) alejar a las personas. Si visito un foro como un nuevo usuario y una máquina marca erróneamente mi publicación o me suspende o lo que sea, y está claro que no debería haber sucedido, … simplemente no volveré, lo más probable, porque o me alejaré del sitio y me olvidaré de todo, o estaré lo suficientemente molesto como para no molestarme en remediarlo.
Siento que el impulso de eliminar los elementos humanos de la moderación va en la dirección equivocada. La moderación a veces puede tener reglas predecibles, y tenemos la función de palabras vigiladas, o la coincidencia de una dirección IP, por ejemplo, para manejar cosas como esa. Pero usar un algoritmo para manejar las cosas “blandas” simplemente termina en una persecución interminable del algoritmo perfecto, desviando la atención de construir una comunidad más saludable donde se puedan abordar los comportamientos de raíz. Al final del día, mi esperanza es que los usuarios cambien su comportamiento, y tengo que creer que son capaces de hacerlo.
Las preguntas rutinarias son oportunidades para que las personas establezcan conexiones humanas, y esos puntos de contacto son absolutamente cruciales para desarrollar usuarios a largo plazo que defenderán su foro. Una cara amigable que aparece para responder una pregunta fácil crea una atmósfera acogedora de una manera que la IA simplemente no puede. ¡Esto es pan comido desde el punto de vista de la construcción de comunidades!