Bloquer le "Help Me Write" de Google

Je viens de voir que Google a lancé une fonctionnalité qui encourage les utilisateurs de Chrome à utiliser l’IA pour rédiger du contenu sur le Web. :confounded:

Je pense que cela pourrait détruire l’utilité des communautés en ligne. Les utilisateurs ne pourront pas faire confiance au fait qu’ils ne communiquent pas avec un bot géré par quelqu’un qui appuie sur des boutons dans son navigateur mais qui n’a pas vraiment rien à dire.

Peut-être que cela pourrait être détecté en suivant si le texte est inséré par le navigateur ou tapé par l’utilisateur ? Si aucun copier-coller n’est détecté, mais que l’éditeur se remplit soudainement de texte, il est probable qu’il soit généré par l’IA.

Si un message est généré par l’IA, peut-être qu’il pourrait recevoir un drapeau spécial et être éventuellement mis en attente de modération ? Les administrateurs pourraient voir combien de messages un utilisateur publie qui semblent être générés par l’IA. Je réfléchis juste à voix haute.

12 « J'aime »

Il existe déjà un détecteur de « frappe trop rapide » qui devrait intercepter le copier-coller ?

Quant à l’analyse du contenu réel, je laisse ceci ici :

https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text

« Depuis le 20 juillet 2023, le classificateur d’IA n’est plus disponible en raison de son faible taux de précision. Nous travaillons à intégrer les commentaires et recherchons actuellement des techniques de provenance plus efficaces pour le texte, et nous nous sommes engagés à développer et déployer des mécanismes permettant aux utilisateurs de comprendre si le contenu audio ou visuel est généré par l’IA. »

Je ne suis au courant d’aucun remplacement.

C’est un problème difficile.

8 « J'aime »

L’outil existant peut le détecter en modération, mais les administrateurs ne pourront pas distinguer un copier-coller (généralement un spammeur) de contenu inséré par le navigateur via l’IA (un nouveau type de problème avec des motivations différentes). Il n’y aura aucun moyen de voir un historique de la fréquence à laquelle un utilisateur injecte du contenu sur le forum depuis Chrome ou une extension de navigateur, ce qui faciliterait la détection des utilisateurs qui n’écrivent pas leur propre contenu.

J’imagine des utilisateurs dont la motivation pour contribuer est d’obtenir de la visibilité en ligne ou des « points » d’une sorte. Ils sont accros à la lecture mais n’ont fait que lire en silence pendant des années. Cet outil d’IA les encourage à écrire quelque chose alors qu’ils se contenteraient autrement de lire tranquillement.

Je pense que si cette fonctionnalité commence à être largement utilisée, la qualité du contenu des forums va progressivement s’éroder. Au minimum, on aura un sentiment général que « la qualité des forums n’est plus ce qu’elle était ».

Ce déclin s’est déjà produit sur le Web en général, et beaucoup de gens ajoutent maintenant « reddit » à leurs requêtes de recherche, car ils essaient d’éviter le spam SEO et les articles d’IA.

Si cette fonctionnalité devient populaire, la modération deviendra également plus difficile car chaque message intercepté par le filtre « l’utilisateur a tapé trop vite » devra être soigneusement examiné pour voir s’il s’agit d’IA. Les modérateurs ne pourront pas déterminer rapidement si « cela a été collé » (peut-être écrit dans un éditeur de texte et copié) ou « cela a été injecté depuis Chrome ou une extension » (probablement de l’IA). Si un historique du nombre de messages injectés pour chaque utilisateur est également visible par les administrateurs, nous pourrions prendre ces décisions de modération plus facilement.

1 « J'aime »

Si quelqu’un ici a accès à cette fonctionnalité, peut-être pourrait-il expliquer ou démontrer quel type de sortie elle donne.

1 « J'aime »

Voici une capture d’écran. Elle ouvre une boîte. Vous lui dites quoi écrire, et si vous cliquez sur « Insérer », cela est envoyé dans l’éditeur. Je lui ai demandé d’écrire un long message, mais il n’a écrit qu’un seul paragraphe.

Je n’utilise pas normalement Google Chrome, mais lorsque je l’ai lancé pour vérifier un site, un onglet s’est automatiquement ouvert pour faire la publicité de la nouvelle fonctionnalité.

2 « J'aime »

Si cela est envoyé à l’éditeur en un instant, cela devrait déclencher le drapeau pour la file d’attente de révision, tout comme s’il avait été copié-collé d’une autre source.

1 « J'aime »

Il pourrait passer en modération, mais il n’y a toujours aucun moyen de distinguer les différentes motivations des utilisateurs.

Je suggère simplement que, si les gens commencent à utiliser cette fonctionnalité et à publier à l’aide de l’IA, quelques outils supplémentaires faciliteraient la protection des forums contre cela :

  • Envoyer le message en modération, même pour les utilisateurs de confiance (ou du moins le marquer pour être examiné par un humain après sa publication).
  • Marquer l’insertion de texte à partir d’outils d’IA différemment du copier-coller.
  • Conserver un total courant pour chaque utilisateur du nombre de fois où il a inséré du texte dans l’éditeur. Un utilisateur de longue date qui utilise la fonctionnalité une fois ne devrait pas poser de problème majeur, mais pouvoir détecter un schéma d’insertion de texte serait utile.

Je n’ai pas trouvé de documentation, mais je soupçonne fortement que “l’outil d’IA” utilise l’API Clipboard du navigateur, de sorte qu’un site Web ne pourra pas distinguer la source du texte.

1 « J'aime »

C’est assez hilarant. Google devrait fournir un moyen de le bloquer sur un site Web ou un domaine, un peu comme la façon dont Smart Compose peut être désactivé pour Google Docs.

Je suis tout à fait favorable à l’utilisation de l’IA comme assistant d’écriture, mais pas de cette façon.

2 « J'aime »

Il pourrait encore y avoir des différences détectables — pour coller, le curseur doit entrer dans la zone de texte et appuyer sur des touches ou faire un clic droit, mais pour injecter du contenu, il ne fait pas ces choses. (Edit : pour utiliser la fonctionnalité, vous faites un clic droit une fois. Ensuite, il y a une pause pendant que vous utilisez l’outil. Ensuite, l’injection se produit.)

Même si ce n’est pas détectable, il serait utile de garder une trace du nombre d’utilisateurs qui copient/collent et à quelle fréquence. Sinon, les modérateurs passeront beaucoup de temps à essayer d’analyser les publications et à avoir des utilisateurs qui se disputent avec eux au sujet de choses pour lesquelles ils n’ont aucune preuve autre qu’un pressentiment. La modération est déjà une tâche extrêmement écrasante.

Merci pour l’illustration @j127

Pour ma propre communauté, je voudrais continuer à autoriser quiconque à utiliser des outils de traduction, au cas où ils ne seraient pas à l’aise en anglais, mais je ne veux pas de publications IA fades et insignifiantes. Au milieu, il pourrait y avoir des publications que la personne a estimé vouloir peaufiner à l’aide d’un outil d’IA - il est courant de nos jours que les gens utilisent ces outils pour améliorer une lettre de motivation, un document ou une présentation. Je pense que je suis probablement d’accord avec ça.

Ce qui compte pour moi, c’est la qualité de la publication - ajoute-t-elle quelque chose à la discussion, exprime-t-elle les opinions, l’expérience ou les connaissances de l’auteur.

Je pense que ma défense, aujourd’hui, est double

  • être vigilant quant à la possibilité que cela se produise
  • éventuellement, publier des directives (ou des règles) qui indiquent quelle est la position, afin que le contenu offensant puisse être modéré sans trop de surprise.

Il me semble peu probable qu’une défense automatique soit efficace, surtout à mesure que les outils d’IA s’améliorent.

5 « J'aime »

Absolument. Il existe déjà une énorme variété de modèles d’IA, des variations dans la manière dont les modèles sont entraînés et une variation infinie dans les invites qu’un utilisateur peut fournir pour générer une sortie. Toute stratégie de détection de contenu généré par l’IA échouera très rapidement.

3 « J'aime »

La méthode que j’ai suggérée ne repose pas sur la façon dont le contenu de l’IA est généré. Elle mesure la façon dont le contenu est injecté dans la page et le moment des interactions de l’utilisateur. Elle laisse les décisions finales aux modérateurs, qui disposeraient de plus d’informations pour prendre leurs décisions. Cela ne permettrait pas de tout attraper, mais cela en attraperait beaucoup.

Dans mon forum principal, les spammeurs créent souvent des comptes et publient pendant longtemps, prétendant être des utilisateurs réguliers. Parfois, les comptes ont un ou deux ans avant de commencer à injecter des liens de spam. Ils ne publient rien d’intéressant, mais ils ne violent aucune règle non plus, donc ils ne peuvent pas être bannis tout de suite. Il n’y a pas assez de temps pour leur parler individuellement afin de voir s’ils sont des utilisateurs légitimes. C’est l’un des groupes qui m’inquiète.

Il se peut que cette fonctionnalité de Google Chrome ne décolle pas, mais il y a un risque qu’elle ait un énorme effet négatif sur les forums en général, en augmentant la charge de modération et en abaissant la perception de leur valeur par le public en raison d’une augmentation du contenu IA fade qui est juste assez limite pour passer.

Si cela décolle, il n’y aura aucun moyen de distinguer un message IA d’un utilisateur qui n’écrit pas très bien, mais qui est toujours dans la gamme de contenu acceptable, et essayer de prendre ces décisions de modération sans données pourrait se transformer en un fardeau écrasant pour les administrateurs. Si un modérateur prend une mauvaise décision ou si la personne accusée ment sur l’utilisation de l’IA, cela pourrait entraîner des conversations interminables et chronophages avec les utilisateurs.

Il est peut-être trop tôt pour ajouter une fonctionnalité pour se défendre contre le problème, mais j’espère que Discourse gardera cela à l’œil.

Je tiens à mentionner que nous surveillons de très près cet espace.

Nous devons entendre les histoires de succès et d’échecs des communautés pour nous aider à décider des stratégies.

Il y a une si vaste gamme ici :

  • Correcteur d’orthographe/formulation+++ … devrait-il être interdit ? Si l’IA rend mon écriture un peu plus claire, est-ce vraiment un crime qu’elle ait supprimé quelque chose.
  • Histoires multilingues … ne serait-il pas merveilleux si de véritables forums multilingues pouvaient émerger ? Tout le monde ne parle pas un anglais spectaculaire.
  • Est-ce un crime d’avoir un partenaire de brainstorming pour échanger des idées avant de publier.

Je pense qu’il y a du mérite à améliorer la modération… c’est certain. Un système de drapeaux jaune/orange/rouge pourrait être intéressant… c’est certain.

5 « J'aime »

Mon objection à l’outil de rédaction d’IA de Google est son interface utilisateur. Il génère une réponse et affiche un gros bouton « Insérer ». La manière non paresseuse d’utiliser l’IA comme outil d’écriture est d’avoir une conversation avec elle sur ce que vous écrivez.

2 « J'aime »

Oui, je suis tout à fait d’accord. Nous pourrions avoir des détecteurs d’IA, mais pourquoi a-t-il fallu 15 minutes à quelqu’un pour signaler un guide généré par IA* (sur le forum d’où je viens) ? Il est peut-être désactivé, mais cela rend le travail acharné des gens dénué de sens pour l’IA. En fait, nous avons eu 2 rencontres avec des guides générés par IA et un utilisateur humain-IA.

*

Sur ce forum, nous avons eu de mauvaises expériences avec l’IA en juin, et la plupart d’entre nous pensent qu’il faut faire les choses soi-même (plus spécifiquement, écrire des guides).

1 « J'aime »

Merci de surveiller la situation.

Je ne suis pas contre l’IA — juste contre le contenu généré par l’IA qui est présenté comme ayant été écrit par un humain.

Dans mon forum principal, ma règle concernant le contenu généré par l’IA est qu’il est acceptable de publier des idées provenant d’outils comme ChatGPT tant que cela est clairement indiqué comme provenant de ChatGPT. Les gens peuvent publier du contenu généré par ChatGPT qui sert de base à une conversation entre humains. Les commentaires de robots se faisant passer pour des humains ne sont cependant pas autorisés.

Je pense que des extensions comme Grammarly sont activées pour des sites web spécifiques, puis elles agissent sur le texte qui a déjà été tapé directement dans les zones de texte, de sorte qu’elles ne seraient pas détectées comme une insertion d’IA.

Si quelqu’un utilise une application de vérification grammaticale distincte au lieu d’une extension de navigateur, alors une interaction comme Ctrl-V (ou Commande-V, ou clic droit et coller) serait détectée, ce qui la distinguerait d’une insertion d’IA directe.

Il semble que ce serait idéal si les gens écrivaient du contenu dans leur propre langue, puis que l’IA fonctionnant dans le forum s’occuperait des traductions. La technologie de traduction continuera de s’améliorer, donc demander aux utilisateurs de publier dans leur langue maternelle conduirait probablement à un meilleur contenu traduit à long terme.

Je pense que les utilisateurs qui injectent du contenu généré par l’IA dans des langues étrangères rendront probablement encore plus utile de savoir si le contenu a été injecté par un outil d’IA. Actuellement, il n’est généralement pas difficile de détecter le contenu de ChatGPT en anglais simplement en le lisant, mais le contenu généré par l’IA dans d’autres langues ne sera probablement pas détectable, sauf en surveillant les interactions des utilisateurs avec la page.

Je me demande si les personnes qui font cela représentent un très faible pourcentage d’utilisateurs d’IA. Si quelqu’un réfléchit avec l’IA dans une autre fenêtre, puis colle du texte, les frappes/clics seraient détectables. L’outil de Google ne fait pas de brainstorming mais génère simplement du contenu automatiquement.

La détection de texte IA, c’est-à-dire la capacité à distinguer le texte écrit par une machine du texte écrit par un humain, dépend de plusieurs facteurs, dont la langue. L’anglais est depuis longtemps au centre de la recherche et du développement de l’IA, ce qui signifie que les modèles en langue anglaise ont été davantage entraînés et sont souvent plus sophistiqués. Cela peut rendre le texte IA en langue anglaise plus fluide et plus difficile à percevoir par rapport à d’autres langues.

D’un autre côté, à mesure que les modèles d’IA évoluent et sont entraînés sur des données multilingues, leur capacité à produire du texte crédible dans d’autres langues s’améliore. Les modèles multilingues, tels que GPT-3 et ses successeurs, ont démontré leur capacité à produire du texte fluide dans plusieurs langues. Cela signifie que l’écart dans la difficulté de détecter le texte généré par l’IA dans différentes langues pourrait se réduire avec le temps.

La détection de texte IA dépend également d’autres facteurs, tels que le contexte du texte, la complexité du sujet et la capacité du lecteur à reconnaître des expressions non naturelles ou des schémas répétitifs dans le texte. De plus, des caractéristiques spécifiques à la langue, telles que la grammaire et le vocabulaire, peuvent affecter la facilité ou la difficulté de reconnaître le texte généré par l’IA.

Oui, c’était généré par l’IA et en finnois au début. La version finnoise était facile à détecter manuellement, car personne ne parle comme ça. Sinon, c’était parfait, mais le ton était étrange.

Ensuite, je l’ai passé par Deepl pour obtenir la version anglaise. Même moi, je vois tout de suite qu’il y a une forte probabilité que ce soit écrit par l’IA.

Mon point faible est que si toutes les solutions d’IA sont également mauvaises pour créer du texte qui peut tromper les lecteurs natifs, alors l’IA est totalement impuissante à faire la différence.

(Et je suis un peu confuse pourquoi c’est si médiocre, même en anglais)

Alors, qu’est-ce qu’il reste ? La détection des copier-coller déjà mentionnés, par exemple.

Peu m’importe que je fasse beaucoup d’erreurs grammaticales ou que j’écorche les prépositions, vous arrivez normalement à me comprendre assez bien, mais parfois il peut y avoir une situation où je veux ou j’ai besoin d’écrire en anglais aussi propre que possible. Ensuite, je peux demander à l’IA de corriger mon texte et de l’utiliser, ou à Deepl, pour le traduire en anglais.

Qu’en pensez-vous, comment j’obtiens ce texte ici :smirking_face: Exactement. Et si à ce stade, un autre système automatique me dit que mon texte est signalé à cause d’un ctrl-v parce que

  • Je l’ai traduit ailleurs
  • J’ai créé ce texte en utilisant PM ici comme conseillé

Je serais vraiment énervée.

Encore une fois, je ne suis qu’un autre utilisateur final, mais je ne vois pas comment nous pouvons gagner cette partie. Même problème qu’avec les images IA.

Parfois, nous nous rendons compte que nous cherchons des solutions techniques à des problèmes sociaux. Le problème social ici est la mauvaise qualité des contributions : une politique soutenue par l’action des modérateurs devrait fonctionner… sauf pour le problème de l’échelle.

J’administre de petits forums, donc ce n’est pas mon problème. Un petit forum peut devenir un grand forum, il serait possible de le laisser se développer sans augmenter l’échelle de la modération - et du signalement par les utilisateurs. Vos utilisateurs doivent être attentifs au contenu de mauvaise qualité, et vos modérateurs doivent agir sur les signalements.

Je pense - j’espère - que nous pouvons éviter d’être inondés de publications d’IA sans perdre la capacité des gens à utiliser la traduction automatique. Nous n’avons pas besoin de 100 % de succès - nous devons maintenir la qualité du contenu de notre forum à un niveau qui convienne aux utilisateurs, afin qu’ils continuent à revenir, à contribuer et à aider au signalement.

2 « J'aime »

Il ne sera pas facile de le détecter à partir de messages isolés, c’est pourquoi j’ai suggéré de conserver des statistiques sur la fréquence à laquelle les utilisateurs le font — éventuellement par des choses comme ctrl-v, clic droit, focus de l’onglet, et insertion de texte (scores séparés). L’objectif serait de voir les tendances des utilisateurs, afin que lorsqu’il sera temps de les confronter, il y ait des preuves au lieu de simples suppositions.

Les décisions finales de modération seraient toujours prises par des humains, mais la principale différence est que ces humains auraient plus de données pour prendre ces décisions plus rapidement et plus précisément. Tous les cas ne nécessitent pas d’être confrontés, mais certains oui.

Il pourrait y avoir des moyens de détecter différents types de motivations. Un message où le compositeur est ouvert pendant longtemps, et où il y a de nombreux copier-coller après que l’onglet ait perdu le focus, n’est probablement pas une injection de texte par IA.

Les données que Discourse fournit ont déjà rendu les décisions de modération beaucoup plus faciles — même des choses basiques comme la localisation de l’adresse IP, combinées au nom d’utilisateur, au contenu du premier message, à la rapidité de frappe, à typing_duration_msecs, à composer_open_duration_msecs, etc.

Je pense que quelques champs supplémentaires y seraient utiles, si la fonctionnalité de Google prend de l’ampleur. Même si Discourse ne développe pas un détecteur sophistiqué pour l’IA, la collecte de ces données dans la base de données pourrait faciliter le développement de plugins par d’autres personnes.


Je ne l’avais pas remarqué auparavant, mais je viens de voir apparaître ici un élément “IA” qui se traduit en anglais. Personnellement, je ne ferais pas comme ça sur mon forum. Je demanderais aux utilisateurs d’écrire dans leurs propres langues comme contenu brut, puis j’exécuterais un traducteur dessus avant de le présenter aux autres utilisateurs. C’est ce que je voulais dire ci-dessus dans mon commentaire sur le fait que les futurs logiciels de traduction seront meilleurs qu’aujourd’hui. En stockant la langue maternelle de l’utilisateur, les meilleurs logiciels de traduction des années 2030 et 2040 pourraient être utilisés, et le contenu pourrait être lu par les utilisateurs qui parlent cette langue sans le traduire en anglais et vice versa.