Comment ressentons-nous tous ChatGPT et autres LLMs et leur impact potentiel sur les forums ?

[pgr]

Concernant les personnes qui répondent en copiant-collant depuis ChatGPT, voici un exemple curieux de réaction :

Want to help others? Leave your AI at the door

Je vois cela aussi sur les forums que je fréquente le plus (qui sont de nature assez technique). Un nouvel utilisateur spécifique publie 8 ou 9 réponses par jour, toutes provenant de ChatGPT.

Il y a beaucoup d’informations précieuses, mais il y a aussi des inexactitudes et des choses carrément trompeuses (imaginez une liste compliquée en 7 étapes, je regarde l’étape 6 et je sais que cela ne fonctionnera jamais… mais beaucoup de gens ne le savent pas).

Cet utilisateur semble essayer de se bâtir une réputation… nous envisageons de demander aux gens d’étiqueter toujours explicitement le contenu de ChatGPT comme ce qu’il est. Une demande que nous ne pouvons qu’espérer qu’ils respecteront, mais que nous ne pourrons pas vraiment faire respecter.

Cela me rend mal à l’aise, je ne pense pas que cela nous mènera à un bon endroit. Je crains que des conversations dénuées de sens ne finissent par envahir Internet. Nous pourrions être obligés de vivre de vraies vies dans le monde réel, je ne suis pas sûr que nous puissions gérer cela…

[MikeNolan]

Mon fils aîné se délecte de m’envoyer des articles et des publications montrant les inanités de chatGPT. Je n’arrête pas de lui dire que la technologie chatGPT est peut-être actuellement au niveau de la 2e ou 3e année dans de nombreux domaines, comme les mathématiques. Pour citer un de mes professeurs il y a des années, il ne sait pas ce qu’il ne sait pas.

Je ne lui ai pas encore demandé de recette pour faire un gâteau, j’ose à peine imaginer ce qu’il pourrait mal faire. (J’ai vu trop de recettes publiées par des humains en ligne qui sont totalement irréalisables.)

Je pense que la conversation dénuée de sens a envahi Internet avec l’invention de Facebook et Twitter. Ceux d’entre nous qui sont assez vieux pour se souvenir de USENET, quand il était encore juste d’appeler cela un jeu vidéo pour les personnes qui savent lire, pourraient tracer la ligne encore plus loin dans le passé.

[BenLeong]

@Olivier_Lambert

Je vois comment un forum ouvert et libre peut être inondé de spam jusqu’à devenir non pertinent.

Nous ressentons certainement cela en ce moment - nous gérons un forum Discourse gratuit et ouvert, et nous voyons beaucoup de spambots de type ChatGPT passer à travers la protection anti-spam existante.

Akismet ne suit pas leur rythme en ce moment, car je n’ai jamais vu autant de comptes spam passer auparavant. Ils ont tendance à poster des commentaires apparemment inoffensifs qui répondent à une question (ou la reformulent, puis y répondent) avec une réponse assez verbeuse qui semble utile, mais qui manque de contexte ou de nuance par rapport à la question d’origine.

Je suppose que les forums Discourse sont ciblés comme terrain d’essai, pour des raisons similaires aux sites WordPress il y a une décennie : c’est une technologie open-source qui est assez largement utilisée, donc les bots qui peuvent naviguer dans le flux d’inscription sur un forum peuvent probablement accéder à beaucoup d’autres.

Nous ne voyons pas actuellement le comportement traditionnel des spambots (créer un compte, poster quelque chose d’assez inoffensif pour passer les mesures anti-spam, puis le modifier dans les 48 heures pour ajouter des liens) - donc je ne suis pas sûr de ce qu’est le but final ici. Il est possible que nous supprimions ces messages trop rapidement, et qu’ils soient plus tard modifiés en fermes de backlinks.

[sam (Sam Saffron) A scindé ce sujet ()]

8 messages ont été déplacées vers un nouveau sujet : LLM et l’impact sur le support client

[sterretje]

@jimkleiber

Alors que je suis l’actualité concernant ChatGPT, GPT-4 et d’autres LLM, et que j’ai joué avec le Discourse Chatbot (supportant ChatGPT), je me sens excité, terrifié et incertain de ce que cela signifiera pour la communication en ligne.

Que vous conseille ChatGPT au sujet de votre problème Et tous les autres ? Et sont-ils d’accord entre eux

[Olivier_Lambert]

Je pense qu’une 2FA obligatoire devrait filtrer la plupart des bots. Des avis ?

Sinon, je demanderais probablement aux utilisateurs de remplir un typeform après la création de leur compte et de les ajouter à un groupe « vérifié » via un webhook lors de la soumission du formulaire et de rendre le forum en lecture seule pour tous ceux qui ne sont pas vérifiés.

Cela dit, maintenant que les bots peuvent naviguer sur le web et comprendre les intentions des boutons, j’ai l’impression que c’est une solution palliative.

[sterretje]

@Olivier_Lambert

J’ai l’impression qu’une 2FA obligatoire devrait filtrer la plupart des robots. Des avis ?

La plupart des forums sont ouverts (il n’est pas nécessaire de s’inscrire pour visiter) et peuvent être trouvés avec Google et autres. La 2FA n’empêchera pas cela.

[Olivier_Lambert]

La 2FA obligatoire pour la création de compte fonctionnera sur 99,9 % des bots…

[Heliosurge (Dan DeMontmorency)]

Voici un robot intéressant.

[MikeNolan]

Je me demande si quelqu’un formé à la lecture labiale serait capable de le comprendre sans le son ?

[MikeNolan]

Une autre raison d’être prudent quant à l’utilisation de la technologie ChatGPT.

Un professeur de droit californien figurait sur une liste générée par ChatGPT de professeurs de droit accusés de harcèlement sexuel. ChatGPT a cité une dépêche du Washington Post comme source.

Le problème est qu’une telle dépêche du Washington Post n’existe pas et qu’aucune accusation de harcèlement sexuel n’a jamais été portée contre ce professeur de droit.

Voici un lien vers l’article, sur le site du Washington Post, coïncidence :
https://www.washingtonpost.com/technology/2023/04/05/chatgpt-lies/

Si ce lien ne fonctionne pas, essayez celui-ci : https://wapo.st/3KhD2R2

[MikeNolan]

Tout le monde peut être tranquille, le ministère du Commerce a annoncé des plans pour s’assurer que l’IA dispose des « garde-fous » appropriés

Du WSJ :

« Il est incroyable de voir ce que ces outils peuvent faire, même dans leur relative enfance », a déclaré Alan Davidson, qui dirige la National Telecommunications and Information Administration, l’agence du ministère du Commerce qui a publié la demande de commentaires. « Nous savons que nous devons mettre en place des garde-fous pour nous assurer qu’ils sont utilisés de manière responsable. »

:sarcasme désactivé :

[Mevo]

@MikeNolan

Il y a donc peut-être un intérêt à avoir des interfaces de type chatGPT dans nos forums si nous pouvons l’utiliser pour analyser les styles d’écriture de nos participants.

Oui… si le texte était encore écrit par des participants humains.
Ce qui ne sera probablement plus le cas, de plus en plus. D’où le problème.

L’IA peut aggraver tout ce que vous avez décrit, et rendre la détection de plus en plus difficile.
Les auteurs de livres, c’est une chose. Ne plus savoir à qui l’on a affaire dans les discussions en ligne, c’en est une autre. Tous les indices que l’on est censé tirer d’un texte écrit sont déformés s’il n’est pas écrit authentiquement par un individu, mais à l’aide de l’IA.

[Jagster (Jakke Lehtonen)]

C’est une question totalement dépendante de la niche. Mes cercles sont fortement connectés à la nutrition et à l’alimentation des chiens. Je vois immédiatement si un texte est généré par l’IA — parce que les IA pensent qu’un million de mouches ne peuvent pas se tromper.

La même chose est visible lorsque nous parlons de randonnée, de kayak, etc.

Donc, cela dépend du type de secte qui a écrit la plupart des textes sur le web. C’est pourquoi tous ceux qui ne sont pas codeurs dans mes amis/ma communauté comptent l’IA comme une autre hype — pour le moment en tout cas

[jimkleiber]

Je viens de voir ça et j’ai pensé que ce serait pertinent pour la facilité avec laquelle il sera (en fait, c’est déjà le cas) d’insérer des réponses d’IA dans chaque champ de saisie :

Sanskar Tiwari

[Dan_Eastwood]

Très légèrement NSFW…

Constructive

[Dan_Eastwood]

J’ai le premier cas d’un utilisateur utilisant probablement ChatGPT pour des réponses argumentatives. Cette personne est déjà une troll limite, et je ne suis pas satisfait de cette évolution.

Un autre utilisateur a utilisé une nouvelle extension Chrome pour l’identification :

99,8 % de probabilité, selon AI Content Detector | AI Detector | Detect GPT4 | Copyleaks

Je ne suis pas encore sûr de la qualité de cette extension - elle semble par défaut sur « humain » pour des échantillons insuffisants, mais peut manquer certains types/styles de texte générés par l’IA (comme les limericks générés par ChatGPT).

Mon plan de modération actuel, si l’on peut appeler cela ainsi, est de laisser les autres utilisateurs identifier et dénoncer ces abus, et de laisser la pression sociale servir de moyen de dissuasion. Je ne suis pas sûr de ce qui peut être fait d’autre pour le moment.

[Ed_S]

@Dan_Eastwood

Mon plan de modération actuel, si l’on peut appeler ça ainsi, est de laisser les autres utilisateurs identifier et dénoncer ces abus, et de laisser la pression sociale être le moyen de dissuasion. Je ne suis pas sûr de ce qui d’autre peut être fait pour le moment.

Si cela se produit sur mon forum, je voudrai préciser que la publication de textes générés par machine sans les annoter est une infraction signalable. Essentiellement, c’est trompeur, donc c’est contre les directives.

[Dan_Eastwood]

@Ed_S

Si cela se produit sur mon forum, je tiens à préciser que la publication de textes générés par machine sans annotation est une infraction signalable. Essentiellement, c’est trompeur, donc c’est contre les directives.

Je suis d’accord en principe, mais les critères d’identification du texte généré par machine sont une cible mouvante. La bonne nouvelle est que l’extension Chrome n’a généré aucun faux positif jusqu’à présent, bien qu’en tests très limités. La mauvaise nouvelle est le travail supplémentaire pour les modérateurs afin de faire la détermination, et la nécessité de se tenir au courant des outils de détection les plus récents à mesure que le texte généré par l’IA s’améliore de plus en plus. Le texte IA atteindra éventuellement un point où la détection sera problématique.

[Ed_S]

@Dan_Eastwood

Le texte généré par l’IA finira par atteindre un point où sa détection sera problématique.

En effet, mais j’y pense comme à un problème de modération. Nos modérateurs humains surveillent déjà les publications qui sont conflictuelles, impolies, insultantes, répétitives ou trompeuses. C’est une extension de cela : et avec une norme culturelle locale qui dit que les vraies personnes ne publient pas de texte généré par machine sans avis de সতর্কতা, tout ce qui ressemble (ou sent) le texte généré par machine, surtout de la part d’un utilisateur relativement nouveau, est automatiquement suspect.

Je pense que les cerveaux humains, en particulier les cerveaux des modérateurs, deviendront raisonnablement bons pour repérer le texte généré par machine. Lorsque le texte généré par machine sera indiscernable d’une publication utile qui fait avancer la conversation, nous n’aurons plus de problème. (Les personnes qui font des publications de faible effort et de faible valeur seront peut-être pénalisées.)