Concernant les personnes qui répondent en copiant-collant depuis ChatGPT, voici un exemple curieux de réaction :
Je vois cela aussi sur les forums que je fréquente le plus (qui sont de nature assez technique). Un nouvel utilisateur spécifique publie 8 ou 9 réponses par jour, toutes provenant de ChatGPT.
Il y a beaucoup d’informations précieuses, mais il y a aussi des inexactitudes et des choses carrément trompeuses (imaginez une liste compliquée en 7 étapes, je regarde l’étape 6 et je sais que cela ne fonctionnera jamais… mais beaucoup de gens ne le savent pas).
Cet utilisateur semble essayer de se bâtir une réputation… nous envisageons de demander aux gens d’étiqueter toujours explicitement le contenu de ChatGPT comme ce qu’il est. Une demande que nous ne pouvons qu’espérer qu’ils respecteront, mais que nous ne pourrons pas vraiment faire respecter.
Cela me rend mal à l’aise, je ne pense pas que cela nous mènera à un bon endroit. Je crains que des conversations dénuées de sens ne finissent par envahir Internet. Nous pourrions être obligés de vivre de vraies vies dans le monde réel, je ne suis pas sûr que nous puissions gérer cela…
Mon fils aîné se délecte de m’envoyer des articles et des publications montrant les inanités de chatGPT. Je n’arrête pas de lui dire que la technologie chatGPT est peut-être actuellement au niveau de la 2e ou 3e année dans de nombreux domaines, comme les mathématiques. Pour citer un de mes professeurs il y a des années, il ne sait pas ce qu’il ne sait pas.
Je ne lui ai pas encore demandé de recette pour faire un gâteau, j’ose à peine imaginer ce qu’il pourrait mal faire. (J’ai vu trop de recettes publiées par des humains en ligne qui sont totalement irréalisables.)
Je pense que la conversation dénuée de sens a envahi Internet avec l’invention de Facebook et Twitter. Ceux d’entre nous qui sont assez vieux pour se souvenir de USENET, quand il était encore juste d’appeler cela un jeu vidéo pour les personnes qui savent lire, pourraient tracer la ligne encore plus loin dans le passé.
Nous ressentons certainement cela en ce moment - nous gérons un forum Discourse gratuit et ouvert, et nous voyons beaucoup de spambots de type ChatGPT passer à travers la protection anti-spam existante.
Akismet ne suit pas leur rythme en ce moment, car je n’ai jamais vu autant de comptes spam passer auparavant. Ils ont tendance à poster des commentaires apparemment inoffensifs qui répondent à une question (ou la reformulent, puis y répondent) avec une réponse assez verbeuse qui semble utile, mais qui manque de contexte ou de nuance par rapport à la question d’origine.
Je suppose que les forums Discourse sont ciblés comme terrain d’essai, pour des raisons similaires aux sites WordPress il y a une décennie : c’est une technologie open-source qui est assez largement utilisée, donc les bots qui peuvent naviguer dans le flux d’inscription sur un forum peuvent probablement accéder à beaucoup d’autres.
Nous ne voyons pas actuellement le comportement traditionnel des spambots (créer un compte, poster quelque chose d’assez inoffensif pour passer les mesures anti-spam, puis le modifier dans les 48 heures pour ajouter des liens) - donc je ne suis pas sûr de ce qu’est le but final ici. Il est possible que nous supprimions ces messages trop rapidement, et qu’ils soient plus tard modifiés en fermes de backlinks.
Je pense qu’une 2FA obligatoire devrait filtrer la plupart des bots. Des avis ?
Sinon, je demanderais probablement aux utilisateurs de remplir un typeform après la création de leur compte et de les ajouter à un groupe « vérifié » via un webhook lors de la soumission du formulaire et de rendre le forum en lecture seule pour tous ceux qui ne sont pas vérifiés.
Cela dit, maintenant que les bots peuvent naviguer sur le web et comprendre les intentions des boutons, j’ai l’impression que c’est une solution palliative.
La plupart des forums sont ouverts (il n’est pas nécessaire de s’inscrire pour visiter) et peuvent être trouvés avec Google et autres. La 2FA n’empêchera pas cela.
Une autre raison d’être prudent quant à l’utilisation de la technologie ChatGPT.
Un professeur de droit californien figurait sur une liste générée par ChatGPT de professeurs de droit accusés de harcèlement sexuel. ChatGPT a cité une dépêche du Washington Post comme source.
Le problème est qu’une telle dépêche du Washington Post n’existe pas et qu’aucune accusation de harcèlement sexuel n’a jamais été portée contre ce professeur de droit.
Tout le monde peut être tranquille, le ministère du Commerce a annoncé des plans pour s’assurer que l’IA dispose des « garde-fous » appropriés
Du WSJ :
« Il est incroyable de voir ce que ces outils peuvent faire, même dans leur relative enfance », a déclaré Alan Davidson, qui dirige la National Telecommunications and Information Administration, l’agence du ministère du Commerce qui a publié la demande de commentaires. « Nous savons que nous devons mettre en place des garde-fous pour nous assurer qu’ils sont utilisés de manière responsable. »
Oui… si le texte était encore écrit par des participants humains.
Ce qui ne sera probablement plus le cas, de plus en plus. D’où le problème.
L’IA peut aggraver tout ce que vous avez décrit, et rendre la détection de plus en plus difficile.
Les auteurs de livres, c’est une chose. Ne plus savoir à qui l’on a affaire dans les discussions en ligne, c’en est une autre. Tous les indices que l’on est censé tirer d’un texte écrit sont déformés s’il n’est pas écrit authentiquement par un individu, mais à l’aide de l’IA.
C’est une question totalement dépendante de la niche. Mes cercles sont fortement connectés à la nutrition et à l’alimentation des chiens. Je vois immédiatement si un texte est généré par l’IA — parce que les IA pensent qu’un million de mouches ne peuvent pas se tromper.
La même chose est visible lorsque nous parlons de randonnée, de kayak, etc.
Donc, cela dépend du type de secte qui a écrit la plupart des textes sur le web. C’est pourquoi tous ceux qui ne sont pas codeurs dans mes amis/ma communauté comptent l’IA comme une autre hype — pour le moment en tout cas
Je viens de voir ça et j’ai pensé que ce serait pertinent pour la facilité avec laquelle il sera (en fait, c’est déjà le cas) d’insérer des réponses d’IA dans chaque champ de saisie :
J’ai le premier cas d’un utilisateur utilisant probablement ChatGPT pour des réponses argumentatives. Cette personne est déjà une troll limite, et je ne suis pas satisfait de cette évolution.
Un autre utilisateur a utilisé une nouvelle extension Chrome pour l’identification :
Je ne suis pas encore sûr de la qualité de cette extension - elle semble par défaut sur « humain » pour des échantillons insuffisants, mais peut manquer certains types/styles de texte générés par l’IA (comme les limericks générés par ChatGPT).
Mon plan de modération actuel, si l’on peut appeler cela ainsi, est de laisser les autres utilisateurs identifier et dénoncer ces abus, et de laisser la pression sociale servir de moyen de dissuasion. Je ne suis pas sûr de ce qui peut être fait d’autre pour le moment.
Si cela se produit sur mon forum, je voudrai préciser que la publication de textes générés par machine sans les annoter est une infraction signalable. Essentiellement, c’est trompeur, donc c’est contre les directives.
Je suis d’accord en principe, mais les critères d’identification du texte généré par machine sont une cible mouvante. La bonne nouvelle est que l’extension Chrome n’a généré aucun faux positif jusqu’à présent, bien qu’en tests très limités. La mauvaise nouvelle est le travail supplémentaire pour les modérateurs afin de faire la détermination, et la nécessité de se tenir au courant des outils de détection les plus récents à mesure que le texte généré par l’IA s’améliore de plus en plus. Le texte IA atteindra éventuellement un point où la détection sera problématique.
En effet, mais j’y pense comme à un problème de modération. Nos modérateurs humains surveillent déjà les publications qui sont conflictuelles, impolies, insultantes, répétitives ou trompeuses. C’est une extension de cela : et avec une norme culturelle locale qui dit que les vraies personnes ne publient pas de texte généré par machine sans avis de সতর্কতা, tout ce qui ressemble (ou sent) le texte généré par machine, surtout de la part d’un utilisateur relativement nouveau, est automatiquement suspect.
Je pense que les cerveaux humains, en particulier les cerveaux des modérateurs, deviendront raisonnablement bons pour repérer le texte généré par machine. Lorsque le texte généré par machine sera indiscernable d’une publication utile qui fait avancer la conversation, nous n’aurons plus de problème. (Les personnes qui font des publications de faible effort et de faible valeur seront peut-être pénalisées.)
Et tous les autres ? Et sont-ils d’accord entre eux 
