Para aquellos de nosotros que ahora vivimos con alucinaciones en datos públicos, sabemos que identificarlas consume mucho tiempo.
Así que, al pensar en el problema, recordé que si uno usa Ocultar detalles en una publicación, hay una buena probabilidad de que un motor de búsqueda respetable no la indexe. Lo sé porque uso la función a menudo.
Si bien Ocultar detalles logra parte de la solución, oculta información que debería ser visible de inmediato. Si en cambio los datos seleccionados se etiquetan con metadatos que indican que contienen una alucinación y los metadatos pueden pasar desde el momento de la creación hasta el uso por una API o visor para notar los datos que contienen la alucinación, esperemos que resuelva el problema. Además, tener una opción de icono como Ocultar detalles pero para alucinaciones sería igual de bueno.
Sé que muchos pensarán que este no es solo un problema de Discourse y estaría de acuerdo, pero Discourse es una entidad lo suficientemente grande en el campo como para que puedan formar un grupo con otras entidades y establecer un estándar para abordar el problema, ya que solo empeorará con el tiempo.
¿Es seguro asumir que se está refiriendo a las alucinaciones en lo que respecta a los datos inexactos producidos por una IA? ¿Hay algún beneficio en tratar estos datos de manera diferente a los datos engañosos producidos por humanos? ¿Hemos llegado a un punto en el que la gente está tratando estos datos como más autoritarios que los de los publicadores humanos?
Gracias por tomarse el tiempo de leer esto y hacer preguntas significativas.
¡Sí!
Por ahora, no.
Sin embargo, si tiene acceso a un abogado en/para la empresa, preguntarle al respecto podría ser beneficioso. Esta es una de esas cosas para las que los gobiernos están considerando crear leyes y, aunque no soy abogado, presentar un plan al gobierno antes de que se promulguen las leyes es mejor que tener la ley creada y tener que cumplirla.
Sí, muchos investigadores creían que las citas eran reales hasta que no pudieron encontrarlas. Yo no colecciono tales cosas, pero puedo estar atento a ellas y anotarlas si lo desea.
Entiendo a dónde va, pero esa no es la pregunta que haría. Quizás estas en su lugar.
¿La gente es consciente de que la IA ahora está creando texto similar al humano que suena correcto y no lo es?
¿La gente es consciente de que la IA está creando imágenes que la gente está convencida de que fueron creadas por otro humano? ¿O incluso parece que fueron tomadas con una cámara, pero en realidad son generadas por IA?
¿A la gente, como investigadores, maestros y otros con un interés particular en información fáctica, le gustaría saber que las alucinaciones están etiquetadas como tales con metadatos? ¿O provinieron de una fuente conocida por generar alucinaciones?
Un problema mayor son los demás que se aprovecharán de estas personas que no saben nada al respecto. Si los datos se marcan como una alucinación y los datos se limpian de la etiqueta de metadatos, no me sorprendería que un abogado pudiera usar eso para demostrar intención.
Nuevamente, gracias por su interés. Por ahora, no planeo ir más allá con esto, ya que parece que usted tiene la idea, pero si tiene otras preguntas, no me importa responder. Personalmente, preferiría vivir en un mundo donde no necesitáramos filtros de spam, escáneres de virus y ahora, al parecer, verificadores de alucinaciones porque la gente quiere usar mal la tecnología.
Una de mis preocupaciones con la IA es que, a medida que la IA se entrena con datos generados por la IA, la información se diluirá cada vez más. Para evitar esto, podría ser de interés para las organizaciones que entrenan LLM en Internet saber cómo se generaron los datos con los que entrenan el LLM. Algún tipo de estándar podría ser útil para esto. Como ejemplo, odiaría ver que los LLM dependan de la respuesta de ChatGPT a “¿Cuáles son los mejores senderos de bicicleta de montaña en Nanaimo para un ciclista de montaña de nivel intermedio?” como datos autorizados sobre ciclismo de montaña en Nanaimo.
En ese sentido, sería mucho más accesible describir los datos por lo que son, en lugar de enredar un argumento sobre texto generado por computadora, especialmente al discutirlo con una audiencia que puede no tener la información de fondo.
Incrustar tu propio sesgo (sea verdadero o no) en la pregunta es algo poco sincero.
Por ejemplo:
Sería conveniente tener una forma estándar de delimitar el texto escrito por un modelo de lenguaje generativo (IA por computadora).
Ya tenemos algunos métodos, por ejemplo: @discobot roll 4d6
En ausencia de un autor explícito, la citación adecuada es probablemente el mejor enfoque.
Sí, el público en general ya está cayendo en la trampa de usar ChatGPT como si fuera un motor de búsqueda que proporciona resultados razonablemente definitivos.
Por supuesto que no lo es: ¡es un estafador experto!
‘60 Minutes’ le pidió a ChatGPT recomendaciones de libros sobre el efecto de la inflación en la economía. Respondió diligentemente con los títulos y autores de seis libros: ¡ninguno de los cuales existe!
Le pregunté a ChatGPT en dos ocasiones separadas si alguien había muerto en el Goodwood Festival of Speed.
Me dijo ambas veces que esto solo había sucedido una vez, pero cada vez me dio un año y un nombre diferentes.
Esta es una gran limitación y definitivamente un problema.
Es una gran herramienta, pero actualmente no deberías usarla para buscar sin los complementos apropiados.
Al consumir un foro con contenido generado (ya sea generado por el usuario o generado por IA), el espectador / consumidor debe ser quien tome precauciones.
Un propietario de foro nunca asumirá / debería asumir la responsabilidad de todo el contenido generado que se publique en su foro, porque asumir esa responsabilidad también implicaría responsabilidad legal. Al marcar publicaciones específicas como ‘factualmente incorrectas’, un propietario de foro puede sugerir inadvertidamente que todas las publicaciones no marcadas son ‘factualmente correctas’, lo que podría causar problemas significativos.
Esto me lleva a mi punto de que evaluar la corrección fáctica y la usabilidad práctica de la información en las publicaciones del foro es responsabilidad del consumidor, en lugar del editor.
Si esta es una respuesta para mí, entonces no estás entendiendo lo que haría la función.
La función daría a los usuarios la capacidad de identificar porciones de cualquier dato como que posiblemente contienen alucinaciones. Tampoco le estoy pidiendo a ninguna entidad que asuma la responsabilidad de identificar tales cosas, sino que les dé a los usuarios, al crear tales cosas, una forma de identificar con metadatos que puede contener alucinaciones. Por lo tanto, la mención de Ocultar detalles, el usuario elige usarlo cuando sea necesario y solo se aplica a tanto o tan poco como el usuario elija, incluso se puede usar varias veces en la misma respuesta.
¿No estás simplemente pidiendo un verificador de hechos?
Entonces, independientemente de la fuente (y principalmente porque no la conocerás), querrías revisar una publicación en busca de falsedades.
Irónicamente, puedo imaginar que la solución podría usar IA para hacer parte del procesamiento del lenguaje natural para la tarea, pero me desvío…
La desafortunada complejidad probable aquí es que tendrá dificultades con el sesgo político o en cualquier lugar donde la ideología o el dogma puedan estar involucrados, por ejemplo, en algunas áreas de la medicina, donde no hay hechos concretos en los que confiar.
Pero puedo ver claramente que confirmar un hecho obvio podría ser sencillo, por ejemplo, la fecha y el lugar de nacimiento de una figura famosa, por ejemplo. ¿Eso ciertamente podría y debería automatizarse?
¡Definitivamente un área interesante a observar, sin duda!
No se esperaban tantas y variadas respuestas a una solicitud de funciones, normalmente después de publicarlas se quedan ahí acumulando polvo, las respuestas son apreciadas.
Aquí hay un recorrido por dos escenarios relacionados con esto que, con suerte, darán una mejor comprensión de la solicitud de funciones.
El usuario identifica alucinaciones
Un usuario utiliza un LLM, por ejemplo, ChatGPT, para obtener información sobre cantos gregorianos. Pega la finalización de ChatGPT en una respuesta de Discourse. Para las partes de la respuesta/finalización que tienen alucinaciones, el usuario selecciona los datos, hace clic en un icono para alucinaciones y los metadatos de la sección, piense en HTML span o similar, se actualizan para mostrar que el span contiene una alucinación.
Los spans podrían ser tan pequeños como una opción para una línea de comandos. Para esta línea de comandos generada por ChatGPT
gregorio -i --gregfont=“Caeciliae” myfile.gabc
parece que la opción gregfont es una alucinación, por lo tanto, esta sección debería marcarse --gregfont="Caeciliae" como una alucinación.
Si se inspeccionara el HTML antes y después de la anotación, se vería algo como esto:
La API consume datos con alucinaciones
Un usuario está buscando una línea de comandos para crear partituras de canto gregoriano, ajusta la consulta para no incluir alucinaciones. A medida que el motor de búsqueda genera resultados, encuentra una coincidencia para una página con el comando
gregorio -i --gregfont=“Caeciliae” myfile.gabc
El motor de búsqueda luego revisa las líneas de comandos en la página y encuentra la específica de interés. El motor de búsqueda luego verifica la línea de comandos para ver si contiene una alucinación y encuentra el elemento span con la alucinación y no la incluye en el resultado de la búsqueda.
Obviamente, se podría crear un plugin para herramientas como Chrome para agregar los spans necesarios, pero también debe haber un estándar, piense en RFC, de los metadatos para que sea parseable para su uso con APIs.
Los escenarios anteriores se adaptaron para páginas web, pero algo similar debería aplicarse a LaTeX, etc.
Si bien los escenarios anteriores solo usaron un escalar para identificar una alucinación, los metadatos podrían ser más complejos, piense en JSON o tipo de dato algebraico.
Me parece que esta es una solicitud de una función que será útil en algunas, pero no en todas, las comunidades.
Personalmente, estaría encantado de que el texto generado por máquinas siempre estuviera oculto dentro de un mecanismo similar a un spoiler: quiero saber que eso es lo que es, y quiero saberlo antes de invertir tiempo en leerlo.
También sería una oportunidad para incluir algo en las reglas locales: no delinear su texto generado por máquinas es una ofensa que se puede marcar.
Poner texto generado por máquinas dentro de un mecanismo similar a un spoiler también permite al publicador agregar comentarios o descripciones: podrían incluir el texto porque es divertidamente incorrecto, o educativamente incorrecto, o porque es útil.
El problema de que los futuros modelos de lenguaje se entrenen en parte con las salidas de modelos de lenguaje más antiguos… ese es probablemente un gran problema, más grande que las etiquetas de spoiler.
Todo eso está muy bien, pero seguramente el primer paso es identificarlo como producido por una máquina. Dado que no conoces a algunos usuarios desde el principio…
Eso puede ser imposible y todo lo que puedes hacer es comprobar la precisión de alguna manera…
Mi opinión es que es un problema de moderación. Algunos textos huelen mal, se realizan consultas y se marcan como “generados por máquina pero no etiquetados como tales” o como “spam probable”.
Creo que entiendo que algunas personas están intentando crear servicios que puedan detectar texto generado por máquinas, pero no sé cuán efectivos son ni cuán caros serán. En el mundo de la educación, se trata de hacer trampa, y existen motivaciones para detectarlo.
4, 6, 4, 5