Meilleures pratiques pour traiter les utilisateurs de spam et les publications de réponses GPT

Contexte : Nous avons créé une communauté il y a plusieurs années, juste au moment où la pandémie frappait fort, puis nous avons dû consacrer toutes nos ressources à d’autres initiatives pendant plusieurs années. Nous avions beaucoup de participation, puis lorsque nous avons arrêté la programmation et la gestion de la communauté, les forums se sont ralentis jusqu’à l’arrêt. Nous sommes sur le point d’investir plus de temps dans la mise en œuvre de notre stratégie et de notre gestion de communauté, donc cette question est la plus pressante !

Nous constatons actuellement que bon nombre des utilisateurs qui rejoignent la communauté sont soit :

1. Ils rejoignent pour poster un lien vers leur site web spammeux axé sur les mots-clés d’affiliation.
2. Ils rejoignent et postent ce qui ressemble beaucoup à une réponse/un post généré par LLM / GPT.

Voici un exemple de post qui a été soumis à notre file d’attente de modération hier :

Remarque : l’utilisateur vient de créer son compte le jour même.

Cliquez pour voir une capture d'écran du post modéré

Snapshot 2023-07-22 at 16.23.44947×974 76.9 KB

Notre message système Discourse a été envoyé à l’utilisateur :

Cliquez pour voir une capture d'écran du message SYSTÈME mis en conserve

Snapshot 2023-07-22 at 16.22.43930×982 230 KB

Ce post d’un nouvel utilisateur était en réponse à ce post de Chris Anderson vieux de 3 ans.

Lorsque vous lisez le post modéré du nouvel utilisateur, il est assez clair que ce message est peu sincère et qu’il s’agit d’une réponse générée par GPT ou quelque chose de similaire.

Existe-t-il des moyens optimaux d’empêcher ces types d’utilisateurs de se présenter dans la communauté ?

Existe-t-il des moyens d’empêcher les utilisateurs d’entrer des réponses pré-écrites de LLM, pour quelque raison égoïste ou malveillante que ce soit ?

Tout avis serait le bienvenu !

À quelle fréquence cela se produit-il ? Je me demande si votre site est spécifiquement ciblé pour une raison quelconque.

Je fais une supposition audacieuse que cela a quelque chose à voir avec l’un ou l’autre de ces sites : http://bestpickleballpaddle.com/, https://thepickleballpaddles.com/. (Notez que ce sont de vrais sites, mais ne leur donnons pas trop de trafic à partir d’ici.)

La motivation la plus évidente à laquelle je peux penser pour générer un message comme celui de votre capture d’écran est d’obtenir une certaine confiance sur le site afin de pouvoir publier des liens de spam à l’avenir. Si c’est le problème, il pourrait être utile de modifier la valeur du paramètre min trust to post links de votre site, qui est par défaut au niveau de confiance 0, à soit le niveau de confiance 1 ou 2. S’il existe des domaines pour lesquels vous êtes heureux d’autoriser les utilisateurs de n’importe quel niveau de confiance à publier, vous pourriez ajouter ces domaines au paramètre de site allowed link domains.

Je ne fais qu’émettre des hypothèses, mais je me demande si, au lieu de déployer beaucoup d’efforts pour essayer de détecter le contenu généré par les LLM, il ne serait pas préférable d’essayer de réduire la motivation pour créer ces types de messages en premier lieu. Ma préoccupation est que le contenu généré par les LLM deviendra de plus en plus difficile à détecter avec le temps. L’identification erronée de contenu comme ayant été généré par un LLM pourrait devenir un problème.

Une autre approche qui pourrait être utile dans certains cas serait d’utiliser l’adhésion à une organisation, ou l’activité sur une autre plateforme comme critère pour créer un compte Discourse, ou comme critère pour obtenir un niveau de confiance qui permet de publier des liens sur un site Discourse. Par exemple, votre formulaire d’inscription a un champ facultatif demandant le niveau de classement USAPA de l’utilisateur. Si l’adhésion à l’USAPA donne aux membres une page de profil sur leur site, vous pourriez faire de l’adhésion à l’USAPA une condition préalable à l’inscription sur votre site en ayant “Lien de profil USAPA” comme champ obligatoire sur votre formulaire d’inscription. Vous pourriez ensuite activer le paramètre de site Discourse must approve users et n’approuver les utilisateurs qu’après avoir confirmé leur adhésion à l’USAPA. Une autre possibilité serait que Discourse ajoute une fonctionnalité qui permettrait de limiter le niveau de confiance d’un utilisateur en fonction d’un critère personnalisé. Par exemple, ne pas autoriser un utilisateur à dépasser le niveau de confiance 1 tant que son adhésion à l’USAPA n’a pas été confirmée.

J’utilise simplement l’adhésion à l’USAPA comme exemple ici. Je peux comprendre pourquoi vous ne voudriez pas exiger l’adhésion à l’USAPA pour les utilisateurs de votre site. L’idée d’établir la confiance par l’adhésion ou l’activité sur un autre site est liée au plugin dont il est question ici : $10k Bounty: Gitcoin Passport plug-in for Discourse.

Exactement.

Il doit presque certainement y avoir un ordre du jour, même s’il n’est pas encore évident.

J’ai récemment eu un utilisateur qui était très convaincant et qui a atteint le niveau de confiance 2 avant de faire ouvertement la promotion de son produit, n’ayant fait que des allusions à l’origine.

Le paramètre de lien de niveau de confiance est utile et les comptes suspects commenceront à suggérer aux gens de rechercher xyz via Google au lieu de pouvoir poster des liens : un autre signal d’alarme.

Parfois, il faut juste attendre que la quantité de preuves s’accumule pour être suffisamment sûr de bannir un compte.

Malheureusement, retarder l’action signifie que l’opération de nettoyage demande plus de travail plus tard.

Il existe une vérification de copier-coller « tapé de manière suspecte rapide » ? À moins que tout cela ne soit un robot conçu pour taper lentement afin d’imiter un humain…

Donc (si je comprends bien) la bonne chose ici est que cette personne a été prise par l’infrastructure existante. Cela dérange le personnel, mais pas les utilisateurs.

Je pense que Simon a bien résumé la situation :

Je serais intéressé de savoir à quelle fréquence cela se produit. Le fait que cette personne ait choisi un avatar pertinent, avec un nom d’utilisateur pertinent, sur un forum pertinent… me laisse supposer que c’est en partie une affaire humaine.
Cela pourrait simplement être un stagiaire en marketing trop zélé ?

J’ai eu un problème similaire. La partie fautive est actuellement suspendue. Il existe des sites Web qui peuvent aider à identifier le texte généré par l’IA, ce qui est utile, mais ce n’est pas une solution à long terme. – L’IA continuera de s’améliorer jusqu’à ce qu’il n’y ait plus de différence.

Cependant, Randall Munroe suggère que cela pourrait être un problème qui se résout de lui-même.

Pour information

Je suis modérateur de catégorie sur le forum Discourse d’OpenAI (ref) (pas un employé d’OpenAI) et je vois les commentaires sur le forum concernant les changements de ChatGPT au fil du temps (ref) et bien qu’en général votre déclaration soit correcte, j’ajoute juste quelques précisions concernant ChatGPT.

Dès que ChatGPT est devenu disponible et pendant de nombreux mois, ses capacités se sont améliorées, les complétions étaient

• plus cohérentes
• en accord avec la requête
• plus concises, courtes en longueur

Ensuite, un changement a été apporté, ce qui a entraîné des complétions qui étaient

• moins cohérentes
• moins en accord avec la requête
• moins concises et plus longues

De nombreux utilisateurs sur le forum ont noté que c’était comme si ChatGPT avait été ramené à une version antérieure il y a quelques mois. Ceux qui utilisent ChatGPT pour créer du code, un cas d’utilisation que j’utilise aussi avec ChatGPT, l’ont remarqué plus prononcé car plus d’erreurs de syntaxe apparaissaient avec le changement.

Donc, la pensée à garder à l’esprit est que si vous essayez d’identifier le contenu généré par ChatGPT, c’est une cible mouvante et qu’il ne s’améliore pas toujours. En tant que programmeur, si j’essayais d’identifier le contenu généré par ChatGPT, cela serait utile.

De plus, je n’ai aucune connaissance interne en étant modérateur sur le site car je ne suis pas un employé d’OpenAI, donc si vous entendez parler d’outils qui intègrent des informations pour rendre ce contenu ChatGPT identifiable, je ne peux pas fournir d’informations à ce sujet.

Pour ceux qui n’utilisent pas ChatGPT, voici un exemple simple utilisant le texte ci-dessus.

Relisez, utilisez un ton agréable, soyez concis.

**Complétion**

Pour information,

Je souhaite clarifier certains points importants concernant les changements de ChatGPT au fil du temps. En tant que modérateur de catégorie sur le forum Discourse d'OpenAI, j'ai suivi de près les commentaires de la communauté concernant le développement de ChatGPT ([ref](https://community.openai.com/about)).

Initialement, après sa sortie, ChatGPT a montré une amélioration constante de ses capacités sur plusieurs mois. Les complétions devenaient plus cohérentes, mieux alignées avec les requêtes données, et plus concises et succinctes.

Cependant, une mise à jour ultérieure a entraîné certains revers. Les utilisateurs ont remarqué que les complétions devenaient moins cohérentes, moins alignées avec les requêtes, et plus longues. Cela a conduit à des comparaisons avec une version antérieure de ChatGPT, qui semblait être un pas en arrière. En particulier, ceux qui utilisent ChatGPT pour la génération de code ont subi un impact plus prononcé, car ils ont constaté une augmentation des erreurs de syntaxe avec le changement.

Il est essentiel de comprendre que l'identification du contenu généré par ChatGPT est devenue une cible mouvante. Bien qu'il se soit constamment amélioré auparavant, ce n'est pas toujours le cas maintenant. En tant que programmeur, je trouve ces informations précieuses, surtout lorsque j'essaie de distinguer le contenu généré par l'homme et celui généré par l'IA.

Je dois préciser que, malgré mon rôle de modérateur sur le site, je ne suis pas un employé d'OpenAI et je ne possède aucune connaissance interne. Par conséquent, s'il existe des outils ou des méthodes développés pour identifier le contenu ChatGPT, je ne suis pas en mesure de fournir des informations à ce sujet.

Merci de votre attention, et j'espère que cette clarification vous aidera à comprendre l'état actuel du développement de ChatGPT.

Cordialement,

[Votre Nom]

Pour information

Je viens de voir ceci OpenAI ferme discrètement son outil de détection d’IA et je l’ai confirmé ici

Depuis le 20 juillet 2023, le classificateur d’IA n’est plus disponible en raison de son faible taux de précision. Nous travaillons à intégrer les commentaires et recherchons actuellement des techniques de provenance plus efficaces pour le texte, et nous nous sommes engagés à développer et déployer des mécanismes permettant aux utilisateurs de comprendre si le contenu audio ou visuel est généré par l’IA.

@EricGT Excellents points ! Oui, c’est définitivement une cible mouvante. Je ne suis pas particulièrement préoccupé par ChatGPT. Le mal est fait, pour ainsi dire, et je pense que ce n’est qu’une question de temps avant que quelqu’un de peu scrupuleux n’utilise la technologie d’une manière délibérément nuisible.

Oui, cela (y compris le démarchage de façade sans URL) ainsi que pour les URL et la publicité qu’ils peuvent ajouter à leurs profils - soit pour une réponse directe, soit pour le référencement. Dans d’autres cas, pour cultiver des comptes pour le spam par message direct. Ce sont les principaux cas, à ma connaissance.