Explorando los límites de la IA en el reconocimiento de contenido generado por IA

Característica
,
1

¿En serio? Ni siquiera OpenAI afirma que esto se pueda hacer.

3 Me gusta
2

Buena observación, eso solo se sugirió como una opción posible. Ha habido mejores modelos como GPT4-Turbo y Claude 3 desde esa publicación de blog que podrían sugerir un mejor rendimiento en teoría.

1 me gusta
3

Esto no fue una crítica al enfoque general aquí.

Usar un LLM para buscar características en el texto que puedan sugerir que es spam es un objetivo realmente excelente y doy la bienvenida a la adición de todo corazón.

Mi único problema fue con la afirmación de que se puede identificar automáticamente el texto generado por IA, lo cual es un problema muy difícil.

Tenga en cuenta la distinción:

  1. ¿Identificar spam general con LLM = excelente y puedo ver cómo esto podría ser manejable y muy valioso?
  2. ¿Identificar que el spam fue generado por IA, con o sin el uso de un LLM, es difícil? No creo que los modelos actuales puedan hacer esto bien específicamente y los positivos son probablemente solo alucinaciones.
3 Me gusta
4

¡Te entiendo! Sí, es un problema mucho más matizado. De hecho, en mis pruebas originales intenté configurarlo para ambos, pero centrarse solo en el spam probablemente arroja mejores resultados aquí.

2 Me gusta
5

Estamos de acuerdo.

Creo que hay algunas señales reveladoras de IA, como la longitud de las publicaciones y el uso excesivo de un lenguaje excepcionalmente florido… así que tal vez esos aspectos puedan ser analizados… la longitud de las publicaciones es probablemente difícil para un LLM, aunque la “floridez” podría ser menos difícil. Puede usar funciones deterministas para marcar la longitud de las publicaciones, por supuesto.

Por otro lado, si alguien ha utilizado ChatGPT para refinar, por ejemplo, su inglés (como segundo idioma), entonces marcar su publicación probablemente no sea útil para la inclusión general de la comunidad.

Yendo un paso más allá, las técnicas generales de aprendizaje automático podrían ser útiles, pero son más complejas de implementar que simplemente enviar texto a un LLM y obtener el resultado.

2 Me gusta