Bloquear "Ayúdame a escribir" de Google

Acabo de ver que Google lanzó una función que anima a los usuarios de Chrome a usar IA para escribir contenido en la Web. :confounded:

Creo que tiene el potencial de destruir la utilidad de las comunidades en línea. Los usuarios no podrán confiar en que no se están comunicando con un bot que es operado por alguien que está presionando botones en su navegador pero que realmente no tiene nada que decir.

¿Quizás podría detectarse rastreando si el texto es insertado por el navegador o escrito por el usuario? Si no se detecta pegar, pero el editor se llena repentinamente de texto, es probable que sea generado por IA.

Si una publicación es generada por IA, ¿quizás se le podría dar una marca especial y opcionalmente retenerla para moderación? Los administradores podrían ver cuántas publicaciones hace un usuario que parecen ser generadas por IA. Solo estoy pensando en voz alta.

12 Me gusta

Ya existe un detector de “escribió demasiado rápido” que debería detectar copiar y pegar.

En cuanto al análisis del contenido real, simplemente dejaré esto aquí:

https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text

" *A partir del 20 de julio de 2023, el clasificador de IA ya no está disponible debido a su baja tasa de precisión. Estamos trabajando para incorporar comentarios y actualmente estamos investigando técnicas de procedencia más efectivas para el texto, y nos

8 Me gusta

La herramienta existente podría detectarlo en moderación, pero los administradores no podrán distinguir entre copiar y pegar (generalmente un spammer) y la IA insertada por el navegador (un nuevo tipo de problema con diferentes motivaciones). No habrá forma de ver un historial de cuántas veces un usuario inserta contenido en el foro desde Chrome o una extensión del navegador, lo que facilitaría la detección de usuarios que no están escribiendo su propio contenido.

Me imagino a usuarios cuya motivación para contribuir es ganar visibilidad en línea o algún tipo de “puntos”. Son adictos a leer pero solo han estado observando durante años. Esta herramienta de IA los anima a escribir algo donde de otra manera se habrían contentado con leer en silencio.

Creo que si esta función comienza a usarse ampliamente, habrá una erosión gradual de la calidad del contenido en los foros. Como mínimo, será un comentario general de que “la calidad de los foros ya no es tan buena como solía ser”.

Esa disminución ya ocurrió con la Web en general, y muchas personas ahora agregan “reddit” a sus consultas de búsqueda, porque están tratando de evitar el spam de SEO y los artículos de IA.

Si esta función se vuelve popular, la moderación también será más difícil, ya que cada publicación atrapada en el filtro “el usuario tecleó demasiado rápido” tendrá que ser examinada cuidadosamente para ver si es IA. Los moderadores no podrán determinar rápidamente si “esto fue pegado” (podría haber sido escrito en un editor de texto y copiado) o “esto fue inyectado desde Chrome o una extensión” (probablemente IA). Si los administradores también pudieran ver un historial del número de publicaciones inyectadas para cada usuario, podríamos tomar esas decisiones de moderación más fácilmente.

1 me gusta

Si alguien aquí tiene acceso a esa función, ¿podría explicar o demostrar qué tipo de resultado produce?

1 me gusta

Aquí tienes una captura de pantalla. Abre un cuadro. Le dices qué escribir y, si haces clic en “Insertar”, se envía al editor. Le pedí que escribiera una publicación larga, pero solo escribió un párrafo.

Normalmente no uso Google Chrome, pero cuando lo abrí para comprobar un sitio, se abrió automáticamente una pestaña para anunciar la nueva función.

2 Me gusta

Si se envía al editor en un instante, debería activar la señal para la cola de revisión, al igual que si se hubiera copiado y pegado de otra fuente.

1 me gusta

Podría pasar a moderación, pero todavía no hay forma de distinguir las diferentes motivaciones de los usuarios.

Solo sugiero que, si la gente empieza a usar esta función y publica usando IA, un par de herramientas adicionales facilitarían la protección de los foros contra ella:

  • Enviar la publicación a moderación, incluso para usuarios de confianza (o al menos marcarla para que sea revisada por un humano después de publicarla).
  • Marcar la inserción de texto de herramientas de IA de manera diferente a copiar/pegar.
  • Mantener un recuento total para cada usuario de cuántas veces ha insertado texto en el editor. Un usuario de mucho tiempo que usa la función una vez no debería ser un gran problema, pero poder detectar un patrón de inserción de texto sería útil.

No he podido encontrar documentación, pero sospecho encarecidamente que la “herramienta de IA” está utilizando la API del portapapeles del navegador, por lo que un sitio web no podrá distinguir el origen del texto.

1 me gusta

Eso es bastante gracioso. Google debería proporcionar una forma de bloquearlo en un sitio web o dominio, similar a la forma en que se puede desactivar Smart Compose para Google Docs.

Estoy totalmente a favor de usar la IA como asistente de escritura, pero no de esa manera.

2 Me gusta

Aún podría haber diferencias detectables: para pegar, el cursor tiene que entrar en el área de texto y presionar teclas o hacer clic derecho, pero para inyectar contenido, no hace esas cosas. (Edición: para usar la función, haces clic derecho una vez. Luego hay una pausa mientras usas la herramienta. Luego ocurre la inyección).

Incluso si no es detectable, sería útil mantener un recuento de qué usuarios copian/pegan y con qué frecuencia. De lo contrario, los moderadores pasarán mucho tiempo intentando analizar las publicaciones y los usuarios discutirán con ellos sobre cosas para las que no tienen más evidencia que una corazonada. La moderación ya es una tarea extremadamente abrumadora.

Gracias por la ilustración @j127

Para mi propia comunidad, me gustaría seguir permitiendo que cualquiera use herramientas de traducción, en caso de que no confíen en el inglés, pero no quiero publicaciones insustanciales y sosas de IA. En el medio, podría haber publicaciones que la persona sintió que quería pulir usando una herramienta de IA; es común en estos días que las personas usen estas herramientas para mejorar una carta de presentación o un documento o una presentación. Creo que probablemente estoy de acuerdo con eso.

Lo que me importa es la calidad de la publicación: ¿aporta algo a la discusión, expresa las opiniones, la experiencia o el conocimiento del publicador?

Creo que mi defensa, hoy, es doble:

  • Estar vigilante de que este tipo de cosas puedan suceder.
  • Posiblemente, publicar alguna guía (o reglas) que indiquen cuál es la posición, para que el contenido ofensivo pueda ser moderado sin demasiada sorpresa.

Me parece poco probable que una defensa automática sea efectiva, especialmente a medida que las herramientas de IA mejoren.

5 Me gusta

Absolutamente esto. Ya existe una gran variedad de modelos de IA, variaciones en cómo se entrenan los modelos e infinitas variaciones en las indicaciones que un usuario puede proporcionar para generar resultados. Cualquier estrategia para detectar contenido generado por IA fallará muy rápidamente.

3 Me gusta

El método que sugerí no se basa en cómo se genera el contenido de IA. Mide la forma en que se inserta el contenido en la página y el momento de las interacciones del usuario. Deja las decisiones finales a los moderadores, quienes tendrían más información para tomar sus decisiones. No lo atraparía todo, pero atraparía muchas cosas.

En mi foro principal, los spammers a menudo crean cuentas y hacen publicaciones durante mucho tiempo, haciéndose pasar por usuarios habituales. A veces, las cuentas tienen uno o dos años antes de que comiencen a insertar enlaces de spam. No publican nada interesante, pero tampoco infringen ninguna regla, por lo que no se les puede prohibir de inmediato. No hay tiempo suficiente para hablar con ellos individualmente para ver si son usuarios legítimos. Ese es un grupo que me preocupa.

Puede que esta función de Google Chrome no despegue, pero existe el riesgo de que tenga un gran efecto negativo en los foros en general, aumentando la carga de moderación y disminuyendo la percepción pública de su valor debido a un aumento de contenido de IA insípido que está justo en el límite para pasar.

Si despega, no habrá forma de distinguir una publicación de IA de un usuario que simplemente no escribe muy bien pero que aún se encuentra dentro del rango de contenido aceptable, e intentar tomar esas decisiones de moderación sin datos podría convertirse en una carga abrumadora para los administradores. Si un moderador toma una decisión incorrecta o la persona acusada miente sobre el uso de IA, podría generar conversaciones de ida y vuelta que consumen mucho tiempo con los usuarios.

Puede que sea demasiado pronto para agregar una función para defenderse del problema, pero espero que Discourse lo mantenga en el radar.

Solo voy a mencionar que estamos vigilando muy de cerca este espacio.

Necesitamos escuchar historias de éxito y fracaso de las comunidades para ayudar a decidir las estrategias.

Hay una gama tan enorme aquí:

  • Corrector de hechizos/frases+++ … ¿debería prohibirse? Si la IA hace que mi escritura sea un poco más clara, ¿es realmente un crimen que haya eliminado un poco?
  • Historias multilingües … ¿no sería encantador si pudieran surgir foros verdaderamente multilingües? No todo el mundo habla un inglés espectacular.
  • ¿Es un crimen tener un compañero de lluvia de ideas para intercambiar ideas antes de publicar?

Creo que hay mérito en mejorar la moderación … sin duda. Un sistema de banderas amarillas / naranjas / rojas podría ser interesante … sin duda.

5 Me gusta

Mi objeción a la herramienta de escritura de IA de Google es su interfaz de usuario. Está generando una respuesta y mostrando un gran botón de “Insertar”. La forma no perezosa de usar la IA como herramienta de escritura es tener una conversación con ella sobre lo que estás escribiendo.

2 Me gusta

Sí, estoy muy de acuerdo con esto. Podríamos tener detectores de IA, pero ¿por qué tardó 15 minutos en que alguien señalara una guía que fue generada por IA* (en el foro del que provengo)? Podría estar deshabilitado, pero hace que el arduo trabajo de las personas sea inútil para la IA. De hecho, hemos tenido 2 encuentros con guías generadas por IA y un usuario humano-IA.

*

En ese foro, hemos tenido malos encuentros con la IA en junio, y la mayoría de nosotros creemos en hacer las cosas por uno mismo (más específicamente, escribir guías).

1 me gusta

Gracias por estar atento.

No estoy en contra de la IA, solo del contenido generado por IA que se hace pasar por escrito por un humano.

En mi foro principal, mi regla sobre el contenido de IA es que está bien publicar ideas de herramientas como ChatGPT siempre que se marque claramente como de ChatGPT. Las personas pueden publicar parte del resultado de ChatGPT que se convierte en la base de una conversación entre humanos. Sin embargo, no se permiten comentarios de robots que se hacen pasar por humanos.

Creo que extensiones como Grammarly se activan para sitios web específicos y luego funcionan con texto que ya se ha escrito directamente en áreas de texto, por lo que no se detectarían como inserción de IA.

Si alguien usa una aplicación de corrección gramatical separada en lugar de una extensión del navegador, entonces se detectaría una interacción como Ctrl-V (o Comando-V, o clic derecho y pegar), lo que la distinguiría de la inserción directa de IA.

Parece que sería ideal si las personas escribieran contenido en sus propios idiomas y luego la IA que se ejecuta en el foro hiciera las traducciones. La tecnología de traducción continuará mejorando, por lo que hacer que los usuarios publiquen en sus idiomas nativos probablemente conducirá a un contenido traducido de mejor calidad a largo plazo.

Creo que los usuarios que inyectan contenido de IA en idiomas extranjeros probablemente harán que sea aún más útil saber si el contenido fue inyectado con una herramienta de IA. En este momento, generalmente no es difícil detectar el contenido de ChatGPT en inglés con solo leerlo, pero el contenido generado por IA en otros idiomas probablemente no será detectable, excepto monitoreando las interacciones del usuario con la página.

Me pregunto si las personas que hacen eso son un porcentaje muy pequeño de los usuarios de IA. Si alguien está haciendo una lluvia de ideas con IA en otra ventana y luego pega texto, las pulsaciones de teclas/clics serían detectables. La herramienta de Google no hace lluvia de ideas, solo genera contenido automáticamente.

La detección de texto de IA, es decir, la capacidad de distinguir el texto escrito por máquinas del texto escrito por humanos, depende de varios factores, siendo el idioma uno de ellos. El inglés ha estado durante mucho tiempo en el centro de la investigación y el desarrollo de la IA, lo que significa que los modelos en inglés se han entrenado más y a menudo son más sofisticados. Esto puede hacer que el texto de IA en inglés sea más fluido y más difícil de percibir en comparación con otros idiomas.

Por otro lado, a medida que los modelos de IA evolucionan y se entrenan con datos multilingües, su capacidad para producir texto creíble en otros idiomas mejora. Los modelos multilingües, como GPT-3 y sus sucesores, han demostrado su capacidad para producir texto fluido en varios idiomas. Esto significa que la brecha en la dificultad de detectar texto generado por IA en diferentes idiomas puede reducirse con el tiempo.

La detección de texto de IA también depende de otros factores, como el contexto del texto, la complejidad del tema y la propia capacidad del lector para reconocer expresiones antinaturales o patrones repetitivos en el texto. Además, las características específicas del idioma, como la gramática y el vocabulario, pueden afectar la facilidad o dificultad para reconocer texto generado por IA.

Sí, eso fue generado por IA y en finlandés al principio. La versión en finlandés fue fácil de detectar manualmente, porque nadie habla así. Por lo demás, fue perfecto, pero el tono era extraño.

Luego lo pasé por deepl para obtener la versión en inglés. Incluso yo veo de inmediato que hay una alta probabilidad de que haya sido escrito por IA.

Mi punto débil es que cuando cada solución de IA es igualmente mala para crear texto que pueda engañar a los lectores nativos, entonces la IA es totalmente inofensiva para decir la diferencia.

(Y estoy un poco confundido por qué es tan mediocre, incluso en inglés)

Entonces, ¿qué queda? Detectar los “copiar y pegar” ya mencionados, por ejemplo.

No me importa cuántos errores gramaticales cometa o cuántas preposiciones “viiole”, normalmente puedes entenderme lo suficientemente bien, pero a veces puede haber una situación en la que quiero o necesito escribir inglés lo más limpio posible. Entonces puedo pedirle a la IA que corrija mi texto y usarlo, o a deepl, para traducirlo al inglés.

¿Qué crees que cómo consigo ese texto aquí :smirking_face: Exacto. Y si en ese momento alguna otra herramienta automática me dice que mi texto está marcado por ctrl-v porque

  • Lo traduje en otro lugar
  • Creé ese texto usando PM aquí como se aconsejó

Estaría realmente cabreado.

De nuevo, soy solo otro usuario final, pero no veo cómo podemos ganar este juego. El mismo tipo de problema que con las imágenes de IA.

A veces descubrimos que buscamos soluciones técnicas a problemas sociales. El problema social aquí son las contribuciones de baja calidad: una política respaldada por la acción del moderador debería funcionar… excepto por el problema de la escala.

Dirijo foros pequeños, así que ese no es mi problema. Un foro pequeño puede convertirse en uno grande, sería posible permitir que eso suceda sin escalar la moderación, y el marcado por parte de los usuarios. Tus usuarios deben estar alerta ante el contenido de baja calidad, y tus moderadores deben actuar sobre las marcas.

Creo, espero, que podamos evitar ser inundados por publicaciones de IA sin perder la capacidad de las personas para usar la traducción automática. No necesitamos un éxito del 100%, necesitamos mantener el contenido de nuestro foro a un nivel de calidad que funcione para los usuarios, para que la gente siga regresando, siga contribuyendo y ayude con el marcado.

2 Me gusta

No será fácil detectarlo solo por publicaciones individuales, por eso sugerí mantener estadísticas sobre la frecuencia con la que los usuarios lo hacen — posiblemente por cosas como ctrl-v, clics derechos, foco de pestaña e inserción de texto (puntuaciones separadas). El objetivo sería ver patrones de los usuarios, para que cuando llegue el momento de confrontarlos, haya evidencia en lugar de solo adivinar.

Las decisiones finales de moderación seguirían siendo tomadas por humanos, pero la principal diferencia es que esos humanos tendrían más datos para tomar esas decisiones de manera más rápida y precisa. No todos los casos necesitan ser confrontados, pero algunos sí.

Podría haber formas de detectar diferentes tipos de motivaciones. Una publicación donde el compositor está abierto durante mucho tiempo y hay muchos pegados después de que la pestaña pierde el foco, probablemente no sea inyección de texto de IA.

Los datos que proporciona Discourse ya han facilitado mucho las decisiones de moderación — incluso cosas básicas como la ubicación de la dirección IP, combinada con el nombre de usuario, el contenido de la primera publicación, si escribieron demasiado rápido, typing_duration_msecs, composer_open_duration_msecs, etc.

Creo que algunos campos más allí serían útiles, si la función de Google tiene éxito. Incluso si Discourse no crea un detector sofisticado para IA, recopilar esos datos en la base de datos podría facilitar que otras personas desarrollen complementos.


No lo había notado antes, pero acabo de ver que apareció aquí una cosa de “IA” que se traduce al inglés. Personalmente, no lo haría así en mi foro. Haría que los usuarios escribieran en sus propios idiomas como contenido sin procesar, y luego ejecutaría un traductor sobre eso antes de presentarlo a los otros usuarios. Eso es lo que quise decir arriba en mi comentario sobre que el futuro software de traducción será mejor que el de hoy. Al almacenar el idioma nativo del usuario, el mejor software de traducción de las décadas de 2030 y 2040 podría usarse sobre él, y el contenido podría ser leído por usuarios que hablan ese idioma sin traducirlo al inglés y viceversa.