Un foro en el que ayudo ha estado experimentando una avalancha de registros de cuentas de spam en los últimos meses. Son casi con seguridad bots de IA, ya que parecen ser capaces de completar un formulario de registro (básicamente, marcar casillas), resolver un hCaptcha y lidiar con el correo electrónico de verificación, e incluso la información del perfil de usuario. Por lo general, podemos adivinar qué registros son falsos basándonos en algunos factores (por ejemplo, tiempo de lectura de artículos cero, algunas cosas sutiles sobre nombres/direcciones de correo electrónico, información de usuario obviamente falsa), pero no es fácil (por ejemplo, a menudo son direcciones de Gmail legítimas). Sin embargo, este proceso no es sostenible: a veces hemos tenido 10 falsificaciones al día, y es demasiado fácil cometer un error dada nuestra capacidad limitada para clasificar estas.
Agregar captchas disminuyó el número de registros falsos, pero todavía tenemos una gran lista de usuarios que necesitan ser aprobados, lo que significa que a menudo lleva una o dos semanas para que los nuevos usuarios puedan unirse. Consideramos cuestionarios basados en texto para nuevos usuarios, pero la realidad es que no tenemos la capacidad de leer un montón de preguntas y adivinar si son generadas por IA o no (y: este problema solo se volverá más difícil).
Una opción es simplemente permitir que estos usuarios se unan, y luego marcarlos si publican algo obviamente spam. Creo que dudamos en abrir la puerta a esto, ya que simplemente desplaza el proceso de un lugar (registro) a otro (publicaciones marcadas) y el gato no puede volver a meterse en la bolsa: cien usuarios latentes de IA que comienzan a publicar lentamente durante unos meses podrían arruinar fácilmente el foro por completo.
¿Alguien tiene estrategias para ayudar a lidiar con esto? Somos relativamente pequeños, así que no puedo imaginar que seamos los únicos que lo experimentan…
En cuanto a las cuentas de usuario de IA, ¿puedes explicar qué “daño” causa si los usuarios nunca publican?
Hace un mes hicimos un cambio en el que suprimimos los perfiles de usuarios anónimos y de baja confianza hasta que un usuario publica, por lo que el spam queda oculto.
Un enfoque interesante en mi opinión si el volumen es realmente alto sería eliminar las cuentas después de 30 días si no publican, necesitan revelarse o serán eliminadas.
La detección de spam de IA ha sido espectacularmente exitosa en todos los foros en los que la hemos habilitado, puedes usarla en tu foro con algunos modelos gratuitos como el nivel gratuito de Gemini. Damos a nuestros clientes acceso a nuestro modelo, pero esto no está ampliamente disponible para quienes lo autoalojan.
Un pequeño problema que veo con Discourse… es que ignora la capacidad de usar CloudFlare Turnstile de forma nativa. Es honestamente una de las mejores soluciones de Captcha que he encontrado, y ejecuto un script de foro de pago que lo utiliza y recibe muy poco spam, a pesar de que tengo muchas inscripciones de nuevos usuarios. La mayoría de las basuras son capturadas por Turnstile.
Realmente no entiendo por qué Discourse, después de todo este tiempo, aún no ha habilitado las ofertas que existen en el núcleo.
Cuando nos inundaban, las cuentas de IA superaban en número a las cuentas de nuevos usuarios reales en una proporción de 10 a 1, lo que hacía que algunas cosas de administración del foro fueran muy poco prácticas. Existía un temor a nivel meta por parte de los moderadores de que tener un foro donde un gran porcentaje o la mayoría de los usuarios fueran IA/spambots pudiera tener el potencial de un daño real en el futuro, incluso si solo estuvieran al acecho por el momento. Por ejemplo, si dentro de un año cientos de usuarios falsos comenzaran a hacer publicaciones plausibles pero inútiles, imaginamos que podría abrumar fácilmente nuestra capacidad para mantenernos al día y haría que todo el foro fuera bastante inútil
Está un poco mejor ahora en cuanto a nuevos miembros, pero creo que es preferencia de todos no tener este problema de los que merodean si podemos evitarlo. Nuestro foro ya ha sido rastreado agresivamente para el entrenamiento de IA (es un área de nicho, por lo que al menos en versiones anteriores de GPT era posible que GPT repitiera citas casi directas de las publicaciones del foro si hacías la pregunta correcta), así que todos están un poco resentidos por ello.
