Para tu información "Usando GPT-4 para la moderación de contenido" - Una entrada de blog de OpenAI

Comunidad
1

https://openai.com/blog/using-gpt-4-for-content-moderation

De la respuesta a continuación

El blog habla de cómo se está entrenando a GPT4 para que actúe como moderador de contenido de Internet basándose en políticas.

Esto se aplica directamente a los sitios de Discourse que utilizan moderadores humanos para filtrar contenido basándose en políticas.

Como moderador humano en algunos sitios, utilizo las políticas tanto de la organización como del foro de Discourse para decidir las acciones a tomar con respecto a las publicaciones, más específicamente cuando son marcadas. No es raro que yo, como moderador, deje una publicación marcada si no viola una política.

Sé que pediste mi opinión, pero intento mantener tales respuestas basadas en hechos; espero haberme mantenido dentro de mis propios límites. :slightly_smiling_face:

5 Me gusta
2

¿Podrías ampliar un poco en el OP sobre por qué crees que esto es de interés para la gente y cómo se relaciona con Discourse? :pray:

Un enlace con poco contexto no es mucho para empezar una discusión. :slight_smile:

6 Me gusta
3

Mi objetivo no era iniciar una discusión, sino transmitir información que considero relevante tanto para Discourse la empresa como para quienes administran sitios con la ayuda de moderadores humanos.

Si bien intenté ceñirme solo a los hechos para la información proporcionada en la primera publicación, aquí hay un punto que creo que vale la pena discutir.

¿Debería un sitio depender únicamente de un moderador de IA o deberían los humanos estar involucrados? Más importante aún, ¿qué sucede cuando una IA y un humano no están de acuerdo?

El uso de la palabra loop fue una elección, no una coincidencia; ¿alguna vez has escuchado las misiones Apolo desde el control de vuelo y has oído hablar de la palabra loop?

Una nota lateral muy interesante relacionada con esto que muchos quizás no vean es que este es el mismo problema con el que luchó el vuelo espacial tripulado; ¿debería la nave espacial ser completamente autónoma o debería un humano poder tomar el control parcial y/o total? Esto puede considerarse el comienzo de los pilotos automáticos para los aviones.

Un libro fascinante que leí personalmente sobre el tema, aprendí mucho sobre un área de código y diseño que no se ve en ningún otro proyecto.

“Digital Apollo: Human and Machine in Spaceflight” de David A. Mindell (sitio) (WorldCat)

1 me gusta
4

Ciertamente, mantén a los humanos informados. ¿Has visto Robocop? En serio, hay mucho juicio en la moderación. Si bien es bueno tener directrices y usarlas, ejecutarlas como un conjunto de reglas estrictas me parece una tontería, una solución técnica a un problema humano.

Edición: Añadiría que dirijo foros a escala humana, donde los moderadores se conocen entre sí y conocen a los miembros que contribuyen regularmente. Estoy seguro de que OpenAI está pensando en foros a escala industrial, dirigidos con fines de lucro, donde los desafíos de moderación son bastante diferentes.

3 Me gusta
5

Lo interesante aquí es reformular el pensamiento:

Moderación de GPT-4

:arrow_double_down:

Moderación asistida por GPT-4

Confiar en estas herramientas para potenciar a los moderadores es algo que me resulta muy atractivo.

9 Me gusta
6

Discourse es una plataforma ideal para aprender, crecer y construir estas nuevas herramientas.

Estoy totalmente a favor de abrazar la revolución de la IA como una “red neuronal” descentralizada e interconectada de redes a través de la cual las sociedades y culturas humanas ya existentes pueden comenzar a evolucionar y colaborar de manera más eficiente, y comenzar a cambiar el rumbo de los flagelos de la polarización habilitada por las centralizaciones de poder y control que nos han infligido las recientes iteraciones de las redes sociales.

Me gusta esta visualización…

3 Me gusta
7

Los humanos deberían estar involucrados, pero creo que tener algún nivel de moderación de IA sería un gran punto de venta para cualquier institución pública que estuviera considerando tener un foro. Por ejemplo, si la CBC pudiera ser convencida de alguna manera para tener un foro.

El equilibrio podría ser algo así como que los moderadores humanos usarían sus habilidades humanas para guiar las conversaciones, mientras que la IA (supervisada por humanos) haría cumplir las directrices del sitio. La moderación de IA podría potencialmente hacer que los foros estén más dispuestos a permitir conversaciones que traten temas polémicos.

2 Me gusta
8

Quiero moderación asistida por IA para detectar usuarios problemáticos que crean nuevas cuentas después de ser suspendidos. Lidiar con esto consume más tiempo del que me gustaría, y ni siquiera soy uno de los moderadores (tenemos roles segregados).

6 Me gusta
9

buena idea aquí

2 Me gusta
10

¿Hay alguna funcionalidad de IA como esta para integrarla en Discourse? Creo que sería de gran ayuda para la moderación de mi comunidad. ¡Por favor, házmelo saber! Busco soluciones para ahorrar tiempo en publicaciones que infrinjan nuestras directrices.

2 Me gusta
11

Ciertamente lo es si eres OpenAI y compañía.

Claro, ¡qué podría salir mal! :man_shrugging:

Mirando el discurso.

La moderación de contenido juega un papel crucial en el mantenimiento de la salud de las plataformas digitales. Un sistema de moderación de contenido que utiliza GPT-4 resulta en una iteración mucho más rápida en los cambios de política, reduciendo el ciclo de meses a horas. GPT-4 también es capaz de interpretar reglas y matices en documentación de políticas de contenido largas y se adapta instantáneamente a las actualizaciones de políticas, lo que resulta en un etiquetado más consistente. Creemos que esto ofrece una visión más positiva del futuro de las plataformas digitales, donde la

1 me gusta
12

Sí, es brillante, ¿verdad?

Si bien me encanta esta tecnología y me he dedicado a entenderla lo mejor que puedo y sé cómo usarla mejor, está claro que OpenAI (y servicios similares) están haciendo algo importante desde una perspectiva empresarial.

La implicación es que por cada publicación que hagas, tienes que darle dinero a OpenAI por múltiples razones (resumen, gramática de la publicación, NSFW de la publicación, incrustación de perfil, la lista continúa).

Antes de que te des cuenta, OpenAI está obteniendo una parte decente de todo el tráfico en tu propio sitio. ¿Todos esos ingresos publicitarios y de afiliados que tanto te costó ganar? Una parte se desvía ahora hacia ellos.

Y a los proveedores de Cloud VPS les encantará que todas las personas mejoren sus servidores de 4 GB a sus ofertas de 16 GB para usar modelos de código abierto localmente.

Dicho esto, por supuesto, nadie hará esto a gran escala a menos que sea más eficiente hacerlo de esta manera y sea competitivamente importante hacerlo.

Y aún menos pesimista, otra forma de ver los servicios proporcionados es una democratización de la tecnología que antes solo estaba disponible para los grandes proveedores.

Por ejemplo, la búsqueda semántica es ahora más barata que nunca y las pequeñas instalaciones ahora pueden usar una búsqueda potente a un precio muy asequible. ¿Seguro que eso es algo bueno?

El poder del procesamiento del lenguaje natural es bastante asombroso, incluso en los modelos más baratos.

Y apenas hemos comenzado esta nueva era, estoy seguro de que los precios bajarán a medida que florezca la competencia.

1 me gusta
13

Si quieres cambiar de tema, ¿puedes por favor mover tus temas a un nuevo tema? Gracias. :slightly_smiling_face:

14

¿Esto parece pertinente? ¿Las consideraciones prácticas del uso de herramientas de moderación asistidas por IA?

(Obviamente, el OP es un poco abierto, pero los temas de #comunidad a menudo lo son)

2 Me gusta
15

No. Hablar de ganar dinero está fuera de tema.

El tema es sobre moderación.

16

Es totalmente relevante y en mi opinión ciertamente no está fuera de tema.

¿Cuántas publicaciones diarias hay en el sitio que administras?

Si tienes que pagar $ a Open AI por cada publicación aportada, eso es una consideración.

¿Cuál es el valor marginal de una publicación para tus ingresos publicitarios, la participación del cliente?

Tiene que ser rentable al final para ser justificable.

No tengo dudas de que podría conducir a una reducción material en las horas de gestión de la comunidad y mejorar la calidad general de un sitio, etc., lo que podría establecer un fuerte argumento a su favor.

No se trata solo de la instalación o la viabilidad técnica, ¿no es necesario considerar estas cosas?

5 Me gusta