Me encantaría conocer las experiencias de los equipos de foros que no permiten contenido generado por IA/LLM. ¿Cómo han logrado comunicar esto a los usuarios? ¿Cómo lo detectan? ¿Cómo abordan a los usuarios que publican este contenido de todas formas?
Cualquier opinión es bienvenida.
Nota: Personalmente, solo me interesa el aspecto humano de las interacciones en el lado del sitio. Asumo que bloquear a los rastreadores (crawlers) es una causa perdida.
Nuestro foro es de discusión espiritual/religiosa. Prohibimos cualquier tipo de contenido generado por IA.
La mayoría, si no todas, las texturas generadas por IA se pueden detectar fácilmente solo con leerlas. La SynthID de Google es una tecnología interesante para detectar imágenes generadas por IA y afirma incluso poder detectar texto, probablemente solo escrito por Gemini, pero OpenAI también admite el estándar. Ser capaz de detectar personalmente el texto yo mismo probablemente sea una habilidad adquirida, pero aprecio el trabajo que se está haciendo para responder a la crisis actual que tenemos de no poder detectar imágenes o texto generados por IA.
En mi opinión, silenciar/suspender sigue siendo la mejor opción para esto, especialmente si la cuenta es nueva. Si hay una cuenta nueva aleatoria que se une a tu sitio y publica instantáneamente un tema generado por IA, no veo ninguna razón por la que no debas simplemente suspender la cuenta y bloquearla.
En cuanto al dilema completo del raspado: Mi sitio es para comunicación interna y documentación dentro de una pequeña empresa en este momento y planeo usarlo como un backend para blogs eventualmente. No fue difícil configurar una trampa para disuadir a los rastreadores que optan por ignorar los archivos robotstxt en mis dominios.
Solo esta táctica ha llevado a algún lugar en el orden de 6 MILLONES de solicitudes en el transcurso de dos semanas (aproximadamente 6 reqs/s al dominio):
Cada vez que un rastreador de IA visita dicho sitio, se lo lleva a un laberinto infinito de spam usando el encantador proyecto iocaine autoalojado con un conjunto de datos de aproximadamente ~7000 palabras inventadas, algo de HTML sin sentido, palabras aleatorias y noticias falsas hechas por Llama 8B).
Obviamente, esta es una táctica nuclear de “vete” y no es para todos, pero ha sido excelente para mí en mi objetivo de evitar que los LLM tomen mi código o contenido de texto. Recuerdo haber leído un estudio de caso que Anthropic hizo sobre el envenenamiento de LLM, pero no puedo encontrar el artículo de nuevo, así que no lo adjuntaré aquí, pero seguro que en algún momento necesitan bloquear mi dominio cuando se den cuenta de que el bot ha enviado unos buenos 5 millones de solicitudes a mi dominio recientemente.
(Notamos que estamos dejando de lado la cuestión de la carga de los rastreadores, el uso de los rastreadores para obtener contenido para entrenamiento y las consecuencias sociales y económicas del rápido desarrollo actual. Eso es bueno.)
Por mi parte, en un sitio de afición de bajo volumen:
estamos tratando de acordar y formular una política por escrito
abordamos los problemas a medida que surgen
los ejemplos más flagrantes son esencialmente spam, por lo que los eliminamos y prohibimos a los usuarios
de lo contrario, les recordamos las normas, quizás en público o en privado, y podemos eliminar publicaciones
Una forma sugerida de orientación podría ser la siguiente:
«Apropiarse» del contenido de los mensajes que publicas (es decir, leer y comprender, y no copiar y pegar ciegamente contenido, independientemente de su origen).
Intentar responder a tus propias preguntas lo mejor posible primero (por ejemplo, buscando en el foro) antes de iniciar nuevos hilos.
Comunicar los detalles de manera concisa para que otros usuarios puedan leer y comprender y así poder ayudar, es decir, evita largos muros de texto repetitivo o irrelevante, o declaraciones demasiado amplias sin información suficiente.
Mantén las discusiones centradas en el tema, evita las discusiones meta (especialmente sobre el uso de la IA, ya sea las «mejores prácticas» o la «ética de la misma»).
Mantén las conversaciones respetuosas y recuerda que tenemos usuarios con diferentes orígenes, puntos de vista y opiniones.
¡Diviértete! Esto está pensado para ser un pasatiempo.
(En nuestro entorno de pasatiempos, hay un ángulo adicional, que es el uso de LLM dentro del pasatiempo, lo que abarca un espectro de posibilidades y tiene tanto sus entusiastas como sus detractores.)
Este ejemplo no involucra a Discourse, pero las cuestiones de política y gobernanza ciertamente se solaparían.
Tanto la versión en inglés como la alemana de Wikipedia ahora cuentan con lo que yo describiría como políticas extremas de pureza ante la IA. Como editor con 16 años de experiencia, he sido acusado injustamente de añadir contenido generado por IA a un artículo que redacté predominantemente. Y el proceso de buscar un remedio ha sido desgastante. Esto incluye presentar quejas formales ante el comité ArbCom de Wikipedia EN y el Equipo de Confianza y Seguridad de la Fundación Wikimedia (WMF TST), las cuales, hasta ahora, han sido desestimadas sumariamente o rechazadas sin motivo, respectivamente.
No quiero relatar mis experiencias aquí, en parte porque están en curso. Sin embargo, animo a los lectores de este espacio a revisar este extraordinario intercambio sobre el artículo de Wikipedia EN acerca de Fern Cave, un sitio de importancia cultural para el pueblo Modoc de California:
El autor en cuestión tuvo que negar el uso de IA cuatro veces. Su conocimiento indígena también fue desestimado en el proceso. El editor que hizo cumplir la norma concluyó con una observación que parece expresar preocupación, pero que también puede interpretarse como una amenaza velada de sanción si no se cede.
Tácticas psicológicas como estas son desplegadas regularmente por editores encargados de hacer cumplir las normas, y tengo evidencia de otros ejemplos.
Si observan el código fuente de ese mismo intercambio, encontrarán una trampa tipo «honeypot» con font-size: 0pt configurada para intentar detectar el uso de IA por parte del autor acusado al formular respuestas. Esta trampa no se activó.
Existen informes creíbles de varios editores que abandonaron Wikipedia DE tras ser «atacados injustamente» por su presunto uso de herramientas de IA.
Para responder a la pregunta original planteada en este tema, sostendría que Wikipedia EN y DE están fallando gravemente en su gobernanza de múltiples maneras en sus intentos de gestionar el contenido generado por IA. Documenté tres estudios de caso en mi reciente informe de 17 páginas dirigido al equipo de WMF TST. Es muy probable que haga público ese PDF en su momento.
Disiento firmemente, dadas mis experiencias en Wikipedia en inglés (detalladas en otro lugar sobre este tema). Sugeriría que este enfoque es principalmente pseudociencia mezclada con soberbia. Más significativamente, dicha detección no puede refutarse, y de hecho los editores encargados de hacer cumplir las normas en Wikipedia, a menudo trabajando de forma coordinada, simplemente se aferran a sus posiciones ante cualquier desafío.
El editor acusado queda con una carga de la prueba inversa y acusaciones que simplemente no son falsables, incluso cuando se presenta la evidencia más convincente en contrario. La justicia natural se evapora. No es el tipo de gobernanza comunitaria que suele funcionar.
Lo sé. He sido sujeto de este proceso en primera persona. Es desagradable. Tiene que haber una mejor manera.
Lecturas relevantes, especialmente el segundo artículo, fueron reveladoras para mí cuando lo leí por primera vez. Creo que eso también se aplica en parte a ti, @robbie.morrison. Algunas personas simplemente escriben de esa manera.
Y he llegado a esta tesis: no escribo como ChatGPT. ChatGPT, de su extraña, desincarnada y globalmente sourced manera, escribe como yo. O, más exactamente, escribe como nosotros, los millones que fuimos empujados por un conducto educativo y social muy particular, un conducto diseñado deliberadamente para lijar la ambigüedad y forjar nuestros pensamientos en una forma muy específica, muy formal y muy impresionante.
Sí, el sesgo contra los hablantes no nativos de inglés es una de mis mayores preocupaciones.
Tampoco se trata de la comunidad de Discourse, pero esta lectura es interesante: Rules Roundtable XXI.V: Plagiarism, Integrity, and Generative AI. Es del subreddit AskHistorians. Para quienes no estén familiarizados, esta es probablemente una de las comunidades más estrictamente moderadas de Reddit. Básicamente, solo permiten respuestas de nivel académico a las preguntas.
El subreddit AskHistorians sigue teniendo un sesgo de “disparar primero”, seguido de una carga inversa de la prueba para el acusado (pero, sin duda, con más garantías procesales que Wikipedia/Wikimedia):
Si no dices que usaste IA para generar una respuesta y sospechamos que podrías estar utilizando la IA de manera contraria a las normas, recibirás una prohibición. Sin embargo, a todos los usuarios prohibidos por uso de IA se les indica cómo presentar una apelación. Parece duro, pero parte de nuestra justificación es llevar a las personas al modmail para poder tener una discusión y evitar una llamada pública que pueda derivar en una avalancha de críticas.
Quizás esa sea la única estrategia viable por ahora? Pero difícilmente constituye justicia natural.
Cometo demasiados errores para ser identificado erróneamente como una IA
Extrañamente, he notado que tengo más inclinación que antes a no corregir voluntariamente los pequeños errores que detecto en mis propios mensajes (incluso en francés, mi lengua materna). Siento que dejar esos detalles imperfectos hace que lo que escribo sea más auténtico y tenga más identidad. La gente podría potencialmente identificar un mensaje como mío debido a esos errores o a frases escritas de manera extraña. Además, es menos agotador mentalmente no intentar que todo lo que escriba sea perfecto (sea lo que sea que eso signifique).
Mi comunidad aún no está muy activa, pero tengo la firme convicción de que no queremos que la gente publique contenido generado por LLM. Por ahora, no me importa que haya rastreadores y queremos que tengamos un bot de LLM o mensajes del sistema de LLM, pero no queremos que los miembros publiquen ese basurilla de ChatGPT (tenemos una enorme cantidad de documentación elaborada a mano que queremos que la gente utilice).
Lo incluiremos en las normas y lo « moderaremos » cuando lo veamos, pero me interesa el marcado automático y otras estrategias.
Si me lo permites, prefiero tener pocos temas y publicaciones que sean mucho más interesantes en el feed global; incluso para el SEO esto es importante, ya que la indexación de contenidos generados por IA suele ser penalizada por los motores de búsqueda tradicionales.
De todos modos, dado que Discourse suele ser de naturaleza pública en la mayoría de los casos, si accedo a otra instancia en la que su contenido predomina o se mezcla con basura generada por IA, naturalmente me iré.
¿Cuál es exactamente tu punto? Existe una gran diferencia entre el uso como herramienta, como el traductor automático de idiomas y contenido temático, como es el caso de mi instancia, entre otras cosas. Quizás hayas sido demasiado literal al leer mi comentario, ¿no? Es una pregunta genuina.
Mi punto es que no eres tan absoluto como dices. Aceptas contenido generado por IA, ya que aquí lo hay. La mayoría de las veces en la parte del código, pero las secciones de ask.discourse.org tampoco son excepciones.
Claro, nada en la vida es absoluto, pero como bien dijiste, si el contenido de una instancia está compuesto mayoritariamente o de manera mixta por contenido generado por IA, naturalmente lo rechazaré. De nuevo, parece que sueles apoyarte en la literalidad en las discusiones, ¿verdad? En lugar de ser irónico, intenta dejar las cosas claras la próxima vez.
No estoy tan seguro de que sea tan fácil detectar contenido generado por IA cuando se utilizan indicaciones cuidadosas para eliminar los marcadores y patrones obvios.
Es más probable que todo el sitio sea marcado como “creado por bots” mediante una inspección manual.
Los motores de búsqueda son pésimos para detectarlo.
