¿Cómo manejáis los usuarios que usan IA para responder automáticamente a hilos y así ganar nivel de confianza?

Esta pregunta va dirigida a todos los administradores y moderadores de foros: ¿qué opinan sobre los usuarios que utilizan IA para navegar automáticamente por el foro, leer los últimos comentarios y que la IA redacte y publique automáticamente una respuesta en el hilo? Lo hacen para no tener que participar realmente en el foro, ya que desean alcanzar un nivel de confianza más alto para acceder a las secciones restringidas por nivel de confianza.

¿Los vigilan activamente? ¿Cómo saben si algo ha sido escrito por una IA? ¿Prefieren no fijarse en ello?

3 Me gusta

Puede ser aún más deshonesto. He visto publicaciones en las que una cuenta títere publica un nuevo tema generado por IA y, poco después, un usuario nuevo (presuntamente controlado por el mismo actor) responde dándole la razón y elogiando al autor del tema.

4 Me gusta

No he visto este comportamiento, pero para mí sería motivo de expulsión. Si fueran miembros en buen estado, sería una advertencia, pero esto suena a que nunca han contribuido.

Creo que ayuda tener una política explícita sobre las contribuciones de LLM.

6 Me gusta

Bueno, mi pregunta sobre cómo deberían manejar este problema sería: ¿cuánto valoras tu contenido restringido por nivel de confianza y cuánto valoras el acceso a dicho contenido?

Si se trata de contenido al que no quieres que la gente acceda «engañando al sistema», buscaría la manera de intentar detener ese comportamiento.

La razón es que este tipo de comportamiento es muy común. Miren el ejemplo de Robert:

ah… esto pasa aquí… todos los días

De todos modos

Muchas veces es bastante obvio para un moderador humano simplemente leyéndolo, pero eso consume tiempo del moderador. Algunos administradores están empleando IA para detectar la IA (¿gracioso, ¿verdad?).

Vean una discusión similar aquí:

4 Me gusta

Si eres capaz de aislar los user agents que se utilizan, o si estos respetan los estándares de control, podrías considerar bloquearlos, aplicarles un límite de velocidad (rate limiting) o utilizar llms.txt.

Esto solo funciona si las automatizaciones se comportan como caballeros.

Si ciertas regiones son un problema, siempre existe la opción del geo-bloqueo.

Utilizo un agente de detección de IA para revisar los niveles de confianza nuevos o bajos. Ha demostrado ser preciso en más del 95 %.

Depende de lo astutos que sean los actores malintencionados, pero con algo de trabajo y pruebas, puedes ser más astuto que ellos :wink:

4 Me gusta

Nosotros también lo hemos visto bastante. Por supuesto, no puedo hablar de las motivaciones, pero por experiencia, me parece mucho menos interesante que intentar «ganarse la confianza». Creo que es simplemente spam.

El spam ahora también incluye conjuntos de datos para entrenar IA y GEO, donde les resulta beneficioso simplemente mencionar un producto, servicio o empresa por todo internet.

A veces es para acumular suficiente confianza como para insertar un enlace, pero sospecho que los enlaces son ahora secundarios.

Hasta ahora, las señales han sido bastante obvias: mi «opinión honesta» es que las «costuras estructurales» se dejan ver con claridad. Pongo el tema en espera y envío al usuario un mensaje directo amigable (pero predefinido) dándole la bienvenida y pidiéndole que me responda para reactivarlo.

Nadie nunca me ha respondido.

4 Me gusta

Como sugirió otra persona, parece que quizás necesites reconsiderar el valor de tu contenido restringido y el valor relativo de las contribuciones de los usuarios al foro. ¿Las personas que no tienen acceso al contenido restringido tienen el conocimiento o las habilidades necesarias para contribuir de manera significativa? Quizás cambies los requisitos para alcanzar un nuevo nivel de confianza de tal manera que publicar basura no sea de ayuda y de alguna manera lo hagas claro para que la gente no se sienta tentada a hacerlo.

Antes de Ai, ¿los nuevos usuarios podían contribuir de manera significativa y alcanzar el siguiente nivel de confianza?

4 Me gusta

Sorprendentemente o no, he utilizado el asistente de IA en las publicaciones de aquí para determinar si una publicación era de IA (en parte para probar, en parte por diversión), después de haberlo determinado yo mismo. ¡Y mira! Es sorprendentemente preciso para determinar si fue escrito por IA o por un humano.


Si era obvio que el usuario estaba usando IA para manipular el foro, sugeriría una o dos advertencias, seguidas de una suspensión de quizás unos pocos días.

1 me gusta

Yo volvería a los principios básicos: ¿el contenido que están generando es valioso para la comunidad en general? Si lo es, ¿importa cómo se haya creado? Si no lo es, hay que abordar ese problema. Si alguien usa una cuenta alternativa (sockpuppet) para generar una gran cantidad de basura, ¿no deberían ser las mismas consecuencias, ya sea que lo haya hecho una IA o un ser humano?

6 Me gusta

Nuestra comunidad está en alerta y he pensado mucho en esto, porque en los tiempos que corren casi nadie respeta las políticas ni los principios. Por eso implementé un sistema personalizado de nivel de confianza / karma donde los usuarios deben completar misiones específicas (humanas) para obtener acceso.

Empezaremos con un nivel muy bajo, pero si veo el tipo de comportamiento que mencionas aquí, lo subiré para hacerlo tedioso, molesto o casi imposible de automatizar y/o lograr utilizando LLMs.

Nuestra comunidad se basa en la interacción humana; dejamos Discord porque su sistema centralizado no se alinea con nuestra filosofía. También espero ver cámaras en vivo generadas por IA algún día, así que necesito planificar qué hacer al respecto.

He moderado y gestionado varios foros durante mi vida en Internet y aprendí a la dura manera que las acciones coercitivas o punitivas suelen tener efectos contraproducentes. Deben ser siempre el último recurso.

Ya saben, la regla de “no alimentar al troll” aplica en todas partes.

3 Me gusta

Siendo sincero, me preocupa que el sistema de TL esté empezando a fallar, ya que es fundamental para nuestra defensa por capas. No lo estoy viendo pasar aquí en meta: ¿has personalizado tu detección de spam con IA o la configuración de TL?

3 Me gusta

Siendo honesto y dejando que mi yo cinéfilo de los 90 siga escribiendo, estoy reiniciando una comunidad de nicho de Latinoamérica que será abierta al mundo, porque creo que los foros deben sobrevivir y, en un par de años, nosotros —los humanos— seremos el 0,5-1 % del mundo.

Digg desapareció, Stack Overflow, también. Reddit ya no está impulsado por humanos. Estuve allí y me fui cuando vi el verdadero monstruo acercarse. Límites en las API, prohibición de clientes alternativos, cookies por todas partes, captchas que le piden a un humano «demostrar que no es un bot», huellas en cada interacción, y así sucesivamente.

Reabrir nuestra comunidad nos expondrá a bots de spam, pero espero más ataques a nuestra infraestructura porque a nosotros (a mí) nos gusta autoalojar siempre, así que elegí olvidar todo sobre SEO, limitar todo lo posible, mantener las interacciones entre «nosotros», aprendí a cifrar, distribuir en redes descentralizadas y estar en Tor, donde Discourse puede usarse a través de Dumbcourse.

Esa es la última línea de defensa y no es necesaria hoy, pero mi lado distópico (quizás lunático para quien lo escuche o lea) siempre está en espera, ¿sabes? Vemos las películas: agentes, arañas, control total y la ilusión sobre casi todos.

Volviendo a Discourse, no espero abuso de spam porque estamos haciendo algo inusual y fuera de lo que la mayoría sigue, pero sí espero que muchos usuarios intenten explotar la IA en sus interacciones para sonar mejores de lo que son. No solo es imposible, sino que también es la peor decisión que alguien puede tomar si quiere mejorar.

Así que pasaremos de una multitud emocional que sigue a un líder a un grupo confiable de moderadores que mantiene a los agentes fuera. Creo que el sistema de niveles de confianza de Discourse era genial, pero el mundo tal como es hoy no lo fomenta; a la gente se le ha entrenado para obtener todo de inmediato y recibir casi nada valioso a cambio.

Mi decisión de crear un sistema de estilo antiguo en lugar del común de insignias/confianza cortaría todo el ruido y creo que elegí la mejor plataforma para un foro dirigido por el mejor equipo del mundo. Veremos hacia dónde va todo esto.

Leí tu artículo y el sobre la mitosis o la fragmentación tóxica. Siempre es hermoso leer a personas que escriben desde lo que realmente viven y poseen. Me sorprende gratamente que conozcas la teoría del «internet muerto». Ya es una realidad.

2 Me gusta

Re: spam. Hace unos 2 años pasamos a Discourse desde una plataforma anticuada y en declive que era terrible en todos los aspectos. Era imposible mantenerse al día con el spam.

Discourse frenó ese problema; cuando se activó la detección por IA, fue un cambio radical.

No recuerdo ningún tema que se haya colado. Hay un puñado de falsos positivos para miembros nuevos, pero nada grave, y ese coste es nada comparado con antes.

Logramos bloquear un grupo de geolocalizaciones que estaban creando enormes cantidades de cuentas, lo que redujo el problema a un nivel que ya no es una carga ni merece la pena preocuparse por él.

Lo que me gusta de Discourse es la flexibilidad que ofrece para resolver problemas, su evolución constante y la disposición del equipo a ayudar. Es un cambio refrescante.

3 Me gusta

No cuento con toda la experiencia en construcción en Internet que tiene la comunidad de Meta en su conjunto, ya que siempre he estado en lugares selectos, pequeños o de nicho. Me dediqué a las bases de los sistemas peer to peer durante casi una década y, además, solo comencé a entender el inglés hace un par de años, por lo que me quedé prácticamente al margen de la gran escena.

Mientras tanto, recibí un ataque de spam en Ghost CMS y tuve que deshabilitar el registro porque el sistema no estaba preparado para manejarlo. Fue una locura: el servidor SMTP utilizó en un mes los recursos que normalmente consumía en dos años.

Mantener comunidades selectas permite la revisión humana de las cuentas; creo que es el único método confiable para mantener alejados a los rastreadores y bots. Hoy en día no existe ningún sistema que no puedan superar; la capacidad de cómputo que gestionan evoluciona y se vuelve más potente cada día.

Las buenas herramientas siempre ayudarán, pero la verdadera defensa depende de nosotros.

Creo que sí importa. En algunos casos, hemos tenido spammer que hacían preguntas generadas por IA evocadoras para las que nuestra comunidad ha dedicado colectivamente bastante tiempo… solo para que el “OP” (autor del tema) regresara y publicara un enlace de spam o editara retroactivamente la pregunta para incluir uno. No son claramente trolls antes del giro.

La gente solo se dejará engañar así un número limitado de veces. Destruye la buena voluntad de la comunidad.

3 Me gusta

Supongo que tu foro no es el único objetivo y, teniendo esto en cuenta, es evidente que la entidad que está haciendo esto probablemente no quiera perder tiempo redactando el tema original. Por lo tanto, una publicación generada por IA ahorra tiempo en el esquema general. En consecuencia, la vigilancia para bloquear publicaciones creadas por IA parece ser un método posiblemente útil para reducir los ataques de spam.