Comment gérez-vous les utilisateurs qui se servent de l'IA pour répondre automatiquement aux fils de discussion afin de gagner un niveau de confiance ?

Communauté
1

Cette question s’adresse à tous les propriétaires et modérateurs de forums : qu’en pensez-vous des utilisateurs qui se servent de l’IA pour parcourir automatiquement le forum, lire les derniers commentaires et générer une réponse qu’ils publient ensuite dans le fil de discussion ? Ils le font pour ne pas avoir à participer réellement, car ils souhaitent atteindre un niveau de confiance plus élevé afin d’accéder aux sections réservées aux membres de confiance.

Surveillez-vous activement ces utilisateurs ? Comment détectez-vous un contenu rédigé par une IA ? Ou préférez-vous fermer les yeux ?

3 « J'aime »
2

Cela peut même devenir plus malhonnête. J’ai vu des publications où un compte de marionnette crée un nouveau sujet avec du contenu généré par IA, puis, un peu plus tard, un nouvel utilisateur (probablement contrôlé par la même personne) publie une réponse qui approuve et complimente l’auteur du message original.

4 « J'aime »
3

Je n’ai jamais vu ce comportement, mais de mon côté, cela entraînerait une suspension. S’ils étaient des membres actifs et en règle, ce serait un avertissement, mais cela donne l’impression qu’ils n’ont jamais contribué.

Je pense qu’il est utile d’avoir une politique explicite concernant les contributions générées par des LLM.

6 « J'aime »
4

Bon, comment tu devrais gérer ce problème ? Ma question serait : à quel point tu values ton contenu restreint par le niveau de confiance et à quel point tu values l’accès à ce contenu.

S’il s’agit de contenu que tu ne veux pas que les gens obtiennent en « trichant » pour contourner le système, je chercherais comment essayer d’empêcher ce type de comportement.

La raison en est que ce genre de comportement est très courant. Regarde l’exemple de Robert :

ah… ça continue ici… tous les jours

Bref

souvent, c’est assez évident pour un modérateur humain en le lisant simplement, mais cela prend du temps de modération. Certains administrateurs utilisent l’IA pour détecter l’IA (drôle, non ?)

voir discussion similaire ici :

4 « J'aime »
5

Si vous parvenez à isoler les agents utilisateurs utilisés, ou s’ils respectent les normes de contrôle, vous pourriez envisager de les bloquer, de limiter leur débit ou d’utiliser llms.txt.

Cela ne fonctionne que si les automatisations se comportent en gentlemen.

Si certaines régions posent problème, le géoblocage reste également une option.

J’utilise un agent de détection par IA pour filtrer les nouveaux niveaux de confiance ou les niveaux de confiance faibles. Il s’est avéré être précis à plus de 95 %.

Cela dépend de la ruse de vos mauvais acteurs, mais avec un peu de travail et des tests, vous pouvez être plus rusé :wink:

4 « J'aime »
6

Nous avons également vu ça assez souvent. Bien sûr, je ne peux pas parler des motivations, mais d’après mon expérience, c’est beaucoup moins intéressant que la tentative de « gagner la confiance ». Je pense que c’est simplement du spam.

Le spam inclut désormais les jeux de données d’entraînement pour l’IA et le GEO — où il est avantageux pour eux de simplement mentionner un produit, un service ou une entreprise partout sur Internet.

Parfois, l’objectif est de récolter suffisamment de confiance pour insérer un lien, mais je soupçonne que les liens ne sont plus qu’un objectif secondaire.

Jusqu’à présent, les indices étaient assez évidents — mon « avis honnête » est que les « coutures structurelles » se voient clairement. Je mets le sujet en attente et j’envoie à l’utilisateur un message privé amical (mais standardisé) pour le bienvenue et lui demander simplement de me répondre pour le réactiver.

Personne ne m’a jamais répondu.

4 « J'aime »
7

Comme l’a suggéré quelqu’un d’autre, il semble que vous devriez reconsidérer la valeur de votre contenu protégé et la valeur relative des contributions des utilisateurs au forum. Les personnes qui n’ont pas accès au contenu protégé ont-elles les connaissances ou les compétences nécessaires pour contribuer de manière significative ? Peut-être modifier les exigences pour atteindre un nouveau niveau de confiance de telle sorte que le dépôt de contenu de mauvaise qualité ne soit plus utile, et rendre cela clair pour éviter que les gens ne soient tentés de le faire.

Avant l’arrivée de l’IA, les nouveaux utilisateurs étaient-ils capables de contribuer de manière significative et d’atteindre le niveau de confiance suivant ?

4 « J'aime »
8

Que ce soit surprenant ou non, j’ai utilisé l’assistant IA sur des publications ici pour déterminer si un message était généré par une IA (en partie pour tester, en partie pour le plaisir), après avoir moi-même jugé s’il l’était vraiment. Et surprise ! L’outil est étonnamment précis pour distinguer un texte rédigé par une IA d’un texte écrit par un humain.

S’il était manifestement évident que l’utilisateur se servait de l’IA pour manipuler littéralement le forum, je suggérerais d’abord un ou deux avertissements, suivis d’une suspension de quelques jours, peut-être.

1 « J'aime »
9

Je reviendrais aux principes fondamentaux : le contenu qu’ils produisent est-il utile à la communauté au sens large ? Si oui, est-ce que cela a de l’importance qu’il ait été généré par une IA ou par un humain ? S’il ne l’est pas, il faut traiter ce problème. Si quelqu’un utilise des comptes multiples pour produire une grande quantité de contenu de mauvaise qualité, les conséquences devraient être les mêmes, qu’il s’agisse d’une IA ou d’un humain, non ?

6 « J'aime »
10

Notre communauté est en veille et j’ai beaucoup réfléchi à cette question, car à l’époque où nous vivons, presque personne ne respecte les politiques ou les principes. J’ai donc mis en place un système de niveau de confiance / karma personnalisé où les utilisateurs doivent accomplir des quêtes spécifiques (humaines) pour obtenir l’accès.

Nous commencerons avec un seuil très bas, mais si je constate le comportement que vous décrivez ici, je le ferai monter pour rendre l’automatisation et/ou l’accomplissement à l’aide de LLM ennuyeux, pénible ou presque impossible.

Notre communauté est basée sur l’interaction humaine. Nous avons quitté Discord parce que leur système centralisé n’est pas en accord avec notre philosophie. J’attends aussi de voir des caméras en direct générées par IA un jour, il faudra planifier quoi faire avec elles.

J’ai modéré et géré quelques forums au cours de ma vie sur Internet et j’ai appris à mes dépens que les actions coercitives ou punitives ont généralement des effets contraires. Elles doivent toujours être le dernier recours.

Vous savez, l’expression « ne nourrissez pas le troll » s’applique partout.

3 « J'aime »
11

Franchement, je m’inquiète de voir si le système de Trust & Level ne commence pas à dysfonctionner, car il est fondamental pour notre défense en profondeur. Je ne constate pas ce problème ici sur le méta — avez-vous personnalisé vos paramètres de détection de spam par IA ou de Trust & Level ?

3 « J'aime »
12

Pour être honnête et laisser mon côté cinéphile des années 90 continuer à écrire, je relance une communauté de niche d’Amérique latine qui sera ouverte au monde entier, car je pense que les forums doivent survivre et que dans quelques années, nous — les humains — ne représenterons que 0,5 à 1 % de la population mondiale.

Digg a disparu, Stack Overflow, disparu. Reddit n’est plus animé par des humains. J’y étais et j’ai choisi de m’en retirer lorsque j’ai vu le vrai monstre arriver. Des restrictions sur les API, l’interdiction des clients alternatifs, des cookies partout, des captchas qui demandent à un humain de « prouver qu’il n’est pas un robot », des empreintes numériques à chaque interaction, et ainsi de suite.

Rouvrir notre communauté nous exposerait aux bots de spam, mais je m’attends à davantage d’attaques contre notre infrastructure, car nous (moi) préférons toujours l’auto-hébergement. J’ai donc choisi d’oublier tout ce qui concerne le SEO, de limiter tout ce que je peux, de garder les interactions entre « nous », d’apprendre à chiffrer, à distribuer sur des réseaux décentralisés et à être sur Tor, là où Discourse peut être utilisé via Dumbcourse.

C’est la dernière ligne de défense et ce n’est pas nécessaire aujourd’hui, mais mon côté dystopique (peut-être fou pour ceux qui écoutent ou lisent) est toujours en veille, vous savez. Nous voyons les films : des agents, des araignées, un contrôle total et l’illusion pour presque tout le monde.

Revenons à Discourse. Je ne m’attends pas à un abus de spam, car nous faisons quelque chose d’inhabituel et en dehors de ce que la majorité suit, mais je m’attends à ce que de nombreux utilisateurs tentent d’exploiter l’IA dans leurs interactions pour se donner une meilleure image qu’ils ne le sont réellement. Non seulement c’est impossible, mais c’est aussi la pire décision que quelqu’un puisse prendre en cherchant à s’améliorer.

Nous passerons donc d’une foule émotionnelle suivant un leader à un groupe de modérateurs de confiance qui tiendra les agents à distance. Je pense que le système de niveaux de confiance de Discourse était excellent, mais il n’est pas encouragé par le monde tel qu’il est aujourd’hui ; les gens sont entraînés à tout obtenir instantanément et à ne recevoir en retour presque rien de précieux.

Ma décision de mettre en place un système de type « old-school » plutôt que le système commun de badges/confiance éliminerait tout le bruit, et je pense avoir choisi la meilleure plateforme pour un forum dirigé par la meilleure équipe au monde. Nous verrons où tout cela nous mène.

J’ai lu votre article et celui sur la mitose ou la fragmentation toxique. C’est toujours beau de lire des gens qui écrivent à partir de ce qu’ils vivent et possèdent réellement. Je suis agréablement surpris que vous soyez familier avec la théorie de l’« internet mort ». C’est bien le cas aujourd’hui.

2 « J'aime »
13

Encore du spam. Il y a environ deux ans, nous avons migré vers Discourse depuis une plateforme obsolète et en fin de vie, qui était décevante à tous les égards. Il était impossible de rester en avance sur le spam.

Discourse a mis un frein à cela ; dès que la détection par IA a été activée, c’était un tournant décisif.

Je ne me souviens pas d’un seul sujet qui ait réussi à passer la barrière. Il y a quelques faux positifs pour les nouveaux membres, mais rien de grave, et ce coût est négligeable par rapport à avant.

Nous avons pu bloquer une poignée de zones géographiques qui créaient d’énormes quantités de comptes, ce qui a ramené le problème à un niveau qui n’est plus une charge ni une source de préoccupation.

Ce que j’apprécie chez Discourse, c’est la flexibilité qu’il offre pour traiter les problèmes, son évolution constante et la volonté de l’équipe d’aider. C’est un changement rafraîchissant.

3 « J'aime »
14

Je ne dispose pas de toute l’expérience de construction sur Internet dont dispose la communauté Meta dans son ensemble, car je me suis toujours tenu dans des espaces choisis, petits ou de niche. J’ai consacré environ une décennie aux fondements des systèmes pair à pair, et je ne maîtrisais l’anglais que depuis quelques années, ce qui m’a laissé presque à l’écart du grand spectacle.

Pendant ce temps, j’ai subi une attaque de spam sur Ghost CMS et j’ai dû désactiver l’inscription, car le système n’était pas prêt à y faire face. C’était fou : les ressources du serveur SMTP utilisées en un mois correspondaient à ce qui avait été consommé en deux ans.

Le maintien de communautés choisies permet une revue humaine des comptes ; je pense que c’est la seule méthode fiable pour écarter les robots et les bots. De nos jours, il n’existe plus de système qu’ils ne puissent surpasser ; la puissance de calcul qu’ils gèrent évolue et devient plus forte chaque jour.

De bons outils aideront comme toujours, mais la véritable défense repose sur nous.

15

Je pense que oui. Dans certains cas, des spammeurs ont posé des questions évocatrices générées par IA, sur lesquelles notre communauté a collectivement passé beaucoup de temps… seulement pour que le « OP » revienne ensuite pour déposer un lien de spam ou modifier rétroactivement la question afin d’en inclure un. Ils ne sont pas manifestement des trolls avant le basculement.

Les gens ne se feront piéger de cette manière que quelques fois. Cela détruit la bonne volonté de la communauté.

3 « J'aime »
16

Je suppose que votre forum n’est pas la seule cible et, en gardant cela à l’esprit, il est évident que l’entité qui fait cela ne veut probablement pas passer de temps à rédiger le sujet d’origine. Par conséquent, un message généré par IA fait gagner du temps dans l’ensemble. Ainsi, la vigilance envers le blocage des messages rédigés par une IA semble être une méthode utile pour réduire les attaques de spam.