Pour info "Utiliser GPT-4 pour la modération de contenu" - une entrée de blog OpenAI

https://openai.com/blog/using-gpt-4-for-content-moderation


De la réponse ci-dessous

Le blog explique comment GPT4 est entraîné pour agir comme modérateur de contenu Internet en fonction de politiques.

Cela s’applique directement aux sites Discourse qui utilisent des modérateurs humains pour filtrer le contenu en fonction de politiques.

En tant que modérateur humain sur quelques sites, j’utilise les politiques de l’organisation et du forum Discourse pour décider des actions à entreprendre concernant les publications, plus spécifiquement lorsqu’elles sont signalées. Il n’est pas rare que je laisse une publication signalée rester si elle n’enfreint pas une politique.

Je sais que vous m’avez demandé mon avis, mais j’essaie de garder ces réponses factuelles ; j’espère être resté dans mes limites. :slightly_smiling_face:

5 « J'aime »

Pourriez-vous développer un peu dans le message initial pourquoi vous pensez que cela intéresse les gens et comment cela se rattache à Discourse ? :pray:

Un lien avec peu de contexte n’est pas très utile pour lancer une discussion. :slight_smile:

6 « J'aime »

Mon but n’était pas de lancer une discussion, mais de transmettre des informations que je considère pertinentes à la fois pour Discourse, l’entreprise, et pour ceux qui gèrent des sites avec l’aide de modérateurs humains.

Bien que j’aie essayé de m’en tenir aux faits pour les informations fournies dans le premier message, voici un point qui me semble mériter discussion.

Un site doit-il s’appuyer uniquement sur un modérateur IA ou les humains doivent-ils être impliqués ? Plus important encore, que se passe-t-il lorsqu’une IA et un humain sont en désaccord ?

L’utilisation du mot boucle (loop) était intentionnelle, pas une coïncidence ; avez-vous déjà entendu le mot boucle dans les communications des missions Apollo depuis le contrôle de vol ?


Une note de côté très intéressante liée à cela, que beaucoup ne remarqueront peut-être pas, est que c’est le même problème que celui auquel le vol spatial habité a été confronté ; le vaisseau spatial doit-il être entièrement autonome ou un humain doit-il pouvoir prendre le contrôle partiel et/ou total ? Cela peut être considéré comme le début des pilotes automatiques pour les avions.

Un livre fascinant que j’ai personnellement lu sur le sujet, j’ai beaucoup appris sur un domaine de code et de conception qui n’est vu dans aucun autre projet.

« Digital Apollo: Human and Machine in Spaceflight » par David A. Mindell (site) (WorldCat)

1 « J'aime »

Gardez certainement les humains impliqués. Avez-vous vu Robocop ? Sérieusement, il y a beaucoup de jugement dans la modération. Bien qu’il soit bon d’avoir des directives et de les utiliser, les appliquer comme un ensemble de règles strictes me semble stupide - une solution technique à un problème humain.

Edit : J’ajouterais que j’anime des forums à échelle humaine, où les modérateurs se connaissent et connaissent les membres qui contribuent régulièrement. Je suis sûr qu’OpenAI pense à des forums à échelle industrielle, gérés à but lucratif, où les défis de modération sont tout à fait différents.

3 « J'aime »

La chose intéressante ici est de recadrer la réflexion :

Modération GPT-4

:arrow_double_down:

Modération assistée par GPT-4

S’appuyer sur ces outils pour autonomiser les modérateurs est quelque chose que je trouve très attrayant.

9 « J'aime »

Discourse est une plateforme idéale pour apprendre, grandir et construire ces nouveaux outils.

Je suis totalement partant pour embrasser la révolution de l’IA en tant que « réseau neuronal » décentralisé et interconnecté de réseaux à travers lequel les sociétés et cultures humaines déjà existantes peuvent commencer à évoluer et collaborer plus efficacement, et commencer à inverser le cours des fléaux de la polarisation permis par les centralisations de pouvoir et de contrôle qui nous ont été imposées par les récentes itérations des réseaux sociaux.

J’aime cette visualisation…

3 « J'aime »

Les humains devraient être impliqués, mais je pense qu’avoir un certain niveau de modération par IA serait un argument de vente majeur pour toute institution publique envisageant d’avoir un forum. Par exemple, si la CBC pouvait être convaincue d’avoir un forum.

L’équilibre pourrait être quelque chose comme ceci : les modérateurs humains utiliseraient leurs compétences humaines pour guider les conversations, tandis que l’IA (supervisée par des humains) appliquerait les directives du site. La modération par IA pourrait potentiellement rendre les forums plus disposés à autoriser les conversations traitant de questions polarisantes.

2 « J'aime »

Je souhaite une modération assistée par l’IA pour intercepter les utilisateurs problématiques créant de nouveaux comptes après avoir été suspendus. Traiter avec eux me prend plus de temps que je ne le souhaite, et je ne suis même pas l’un des modérateurs (nous avons des rôles distincts).

6 « J'aime »

bonne idée ici

2 « J'aime »

Existe-t-il une fonctionnalité d’IA similaire pour l’intégration sur Discourse ? Je pense que ce serait très utile pour aider à la modération de ma communauté. S’il vous plaît, faites-moi savoir ! Je cherche des solutions pour gagner du temps sur les publications qui enfreignent nos directives.

2 « J'aime »

C’est certainement le cas si vous êtes OpenAI et Co

Bien sûr, qu’est-ce qui pourrait mal tourner ! :man_shrugging:

En regardant le discours.

La modération de contenu joue un rôle crucial dans le maintien de la santé des plateformes numériques. Un système de modération de contenu utilisant GPT-4 permet une itération beaucoup plus rapide sur les changements de politique, réduisant le cycle de plusieurs mois à quelques heures. GPT-4 est également capable d’interpréter les règles et les nuances dans la documentation des politiques de contenu longues et de s’adapter instantanément aux mises à jour des politiques, ce qui permet un étiquetage plus cohérent. Nous pensons que cela offre une vision plus positive de

1 « J'aime »

Ouais, c’est génial, n’est-ce pas ?

Bien que j’adore absolument cette technologie et que je me sois donné pour mission de la comprendre au mieux et de savoir comment l’utiliser, il est clair qu’OpenAI (et les services similaires) ont vraiment trouvé quelque chose ici d’un point de vue commercial.

L’implication est que pour chaque publication effectuée, vous devez donner de l’argent à OpenAI pour potentiellement plusieurs raisons (résumé, grammaire de la publication, NSFW de la publication, intégration de profil, la liste est longue).

Avant que vous ne vous en rendiez compte, OpenAI reçoit une part décente pour tout le débit sur votre propre site. Tous ces revenus publicitaires et d’affiliation que vous avez durement gagnés ? Une partie est maintenant détournée vers eux.

Et les fournisseurs de Cloud VPS vont adorer tous les gens qui mettront à niveau leur serveur de 4 Go vers leurs offres de 16 Go afin d’utiliser des modèles open source localement.

Cela dit, bien sûr, personne ne fera cela à grande échelle à moins qu’il ne soit plus efficace de le faire ainsi et qu’il soit compétitivement important de le faire.

Et encore moins pessimiste, une autre façon de considérer les services fournis est une démocratisation de la technologie qui n’était auparavant disponible que pour les grands fournisseurs.

Par exemple, la recherche sémantique est maintenant moins chère que jamais et les petites installations peuvent désormais utiliser une recherche puissante à un prix très abordable. C’est sûrement une bonne chose ?

La puissance du traitement du langage naturel est assez étonnante, même dans les modèles moins chers.

Et nous n’avons fait que commencer cette nouvelle ère, je suis sûr que les prix baisseront à mesure que la concurrence prospérera.

1 « J'aime »

Si vous souhaitez changer de sujet, veuillez déplacer vos sujets vers un nouveau sujet. Merci. :slightly_smiling_face:

Cela semble être dans le sujet ? Les considérations pratiques de l’utilisation d’outils de modération assistés par l’IA ?

(Il est évident que le message initial est un peu vague, mais les sujets communautaires le sont souvent)

2 « J'aime »

Non. Parler d’argent est hors sujet.

Le sujet porte sur la modération.

C’est tout à fait pertinent et, à mon humble avis, certainement pas hors sujet.

Combien de publications par jour sur le site que vous gérez ?

Si vous devez payer des dollars à OpenAI pour chaque publication, c’est une considération.

Quelle est la valeur marginale d’une publication pour vos revenus publicitaires, l’engagement client ?

Cela doit finalement se rentabiliser pour être justifiable.

Je n’ai aucun doute que cela pourrait entraîner une réduction significative des heures de gestion de la communauté et améliorer la qualité globale d’un site, etc., ce qui pourrait constituer un solide argument en sa faveur.

Il ne s’agit pas seulement de la facilité ou de la faisabilité technique, mais ces choses doivent être prises en compte ?

5 « J'aime »