Pour ceux d’entre nous qui vivons maintenant avec des hallucinations dans les données publiques, nous savons qu’identifier ces hallucinations prend du temps.
En réfléchissant au problème, je me suis rappelé que si l’on utilise la fonction Masquer les détails dans une publication, il y a de fortes chances qu’un moteur de recherche respectable ne l’indexe pas. Je le sais car j’utilise cette fonctionnalité souvent.
Bien que la fonction Masquer les détails résolve une partie du problème, elle masque des informations qui devraient être visibles dès le départ. Si, au lieu de cela, les données sélectionnées étaient taguées avec des métadonnées indiquant qu’elles contiennent une hallucination, et que ces métadonnées pouvaient être transmises de la création à l’utilisation par une API ou un visualiseur pour signaler les données contenant l’hallucination, cela résoudrait probablement le problème. De plus, avoir une option d’icône similaire à Masquer les détails, mais pour les hallucinations, serait tout aussi appréciable.
Je sais que beaucoup penseront que ce n’est pas seulement un problème de Discourse, et je suis d’accord, mais Discourse est une entité suffisamment importante dans ce domaine pour qu’ils puissent former un groupe avec d’autres entités et établir une norme pour résoudre le problème, car il ne fera qu’empirer avec le temps.
Est-il prudent de supposer que vous parlez d’hallucinations en ce qui concerne les données inexactes produites par une IA ? Y a-t-il un avantage à traiter ces données différemment des données trompeuses produites par l’homme ? Sommes-nous à un point où les gens traitent ces données comme plus faisant autorité que les publications humaines ?
Merci d’avoir pris le temps de lire ceci et de poser des questions pertinentes.
Oui !
Pour le moment, non.
Cependant, si vous avez accès à un avocat pour l’entreprise, lui poser des questions à ce sujet pourrait être bénéfique. C’est l’une de ces choses pour lesquelles les gouvernements envisagent de créer des lois et, bien que je ne sois pas avocat, présenter un plan au gouvernement avant qu’il n’élabore les lois est préférable que d’avoir la loi créée et de devoir s’y conformer.
Oui, de nombreux chercheurs croyaient que les citations étaient réelles jusqu’à ce qu’ils ne puissent pas les trouver. Je ne collecte pas cela mais je peux garder un œil dessus et les noter si vous le souhaitez.
Je comprends où vous voulez en venir, mais ce ne sont pas les questions que je poserais. Peut-être celles-ci à la place.
Les gens sont-ils conscients que l’IA crée maintenant du texte semblable à celui des humains, qui semble correct et ne l’est pas ?
Les gens sont-ils conscients que l’IA crée des images que les gens sont convaincus qu’elles ont été créées par un autre humain ? ou semblent même avoir été prises par un appareil photo, mais sont en réalité générées par l’IA ?
Les chercheurs, les enseignants et autres personnes ayant un intérêt dans l’information factuelle aimeraient-ils savoir que les hallucinations sont marquées comme telles avec des métadonnées ? ou proviennent d’une source connue pour générer des hallucinations ?
Un problème plus important est celui des autres qui profiteront de ces personnes qui ne sont pas au courant de telles choses. Si les données sont marquées comme une hallucination et que les données sont nettoyées de la balise méta, je ne serais pas surpris qu’un avocat puisse l’utiliser pour démontrer une intention.
Encore une fois, merci de votre intérêt. Pour le moment, je ne prévois pas d’aller plus loin car vous semblez avoir compris, mais si vous avez d’autres questions, je n’hésiterai pas à y répondre. Personnellement, je préférerais vivre dans un monde où nous n’avions pas besoin de filtres anti-spam, d’antivirus et maintenant, semble-t-il, de vérificateurs d’hallucinations parce que les gens veulent abuser de la technologie.
Une de mes préoccupations concernant l’IA est qu’à mesure que l’IA est entraînée sur des données générées par l’IA, l’information deviendra de plus en plus diluée. Pour éviter cela, il pourrait être dans l’intérêt des organisations qui entraînent des LLM sur Internet de savoir comment les données sur lesquelles elles entraînent le LLM ont été générées. Une sorte de norme pourrait être utile à cet égard. Par exemple, je détesterais voir des LLM s’appuyer sur la réponse de ChatGPT à « Quels sont les meilleurs sentiers de vélo de montagne à Nanaimo pour un cycliste de montagne de niveau intermédiaire ? » comme données faisant autorité sur le vélo de montagne à Nanaimo.
Sur ce point, il serait beaucoup plus simple de décrire les données par ce qu’elles sont, plutôt que d’y mêler un argument sur le texte généré par ordinateur, surtout lorsque l’on s’adresse à un public qui n’a peut-être pas les informations de base.
Intégrer votre propre parti pris (qu’il soit vrai ou non) dans la question est quelque peu malhonnête.
Par exemple :
Il serait pratique d’avoir une méthode standard pour délimiter le texte écrit par un modèle linguistique génératif (IA informatique).
Nous avons déjà quelques méthodes, par exemple : @discobot roll 4d6
En l’absence d’un auteur explicite, une citation appropriée est probablement la meilleure approche.
Oui, le grand public tombe déjà dans le piège d’utiliser ChatGPT comme s’il s’agissait d’un moteur de recherche fournissant des résultats raisonnablement définitifs.
Bien sûr, ce n’est pas le cas : c’est un escroc expert !
« 60 Minutes » a demandé à ChatGPT des recommandations de livres sur l’effet de l’inflation sur l’économie. Il a répondu avec diligence avec les titres et les auteurs de six livres : aucun d’entre eux n’existe !
J’ai demandé à ChatGPT à deux reprises si quelqu’un était mort au Goodwood Festival of Speed.
Il m’a dit les deux fois que cela n’était arrivé qu’une seule fois, mais à chaque fois, il m’a donné une année et un nom différents.
C’est une énorme limitation et certainement un problème.
C’est un excellent outil, mais vous ne devriez pas l’utiliser actuellement pour la recherche sans plugins appropriés.
Lors de la consultation d’un forum contenant du contenu généré (qu’il s’agisse de contenu généré par l’utilisateur ou par l’IA), le spectateur / consommateur doit faire preuve de prudence.
Un propriétaire de forum ne prendra jamais / ne devrait jamais assumer la responsabilité de tout le contenu généré publié sur son forum, car assumer cette responsabilité impliquerait également une responsabilité légale. En signalant des publications spécifiques comme étant « factuellement incorrectes », un propriétaire de forum pourrait suggérer par inadvertance que toutes les publications non signalées sont « factuellement correctes », causant potentiellement des problèmes importants.
Cela m’amène à mon point selon lequel l’évaluation de l’exactitude factuelle et de l’utilité pratique des informations contenues dans les publications de forum est de la responsabilité du consommateur, plutôt que de l’éditeur.
Si ceci est une réponse à moi, alors vous ne comprenez pas ce que ferait la fonctionnalité.
La fonctionnalité donnerait aux utilisateurs la possibilité d’identifier des portions de données comme contenant potentiellement des hallucinations. Je ne demande pas non plus à une entité d’assumer la responsabilité de l’identification, mais de donner aux utilisateurs, lors de la création, un moyen d’identifier avec des métadonnées qu’elles peuvent contenir des hallucinations. D’où la mention de Masquer les détails, l’utilisateur choisit de l’utiliser si nécessaire et cela ne s’applique qu’à autant ou aussi peu que l’utilisateur choisit, cela peut même être utilisé plusieurs fois dans la même réponse.
N’est-ce pas simplement demander un vérificateur de faits ?
Donc, indépendamment de la source (et principalement parce que vous ne le sauriez pas), vous voudriez examiner un message pour détecter des mensonges.
Ironiquement, je peux imaginer que la solution pourrait utiliser l’IA pour effectuer une partie du traitement du langage naturel pour cette tâche, mais je m’égare…
La complexité malheureuse probable ici est qu’elle aurait du mal avec les biais politiques ou partout où l’idéologie ou le dogme pourraient être impliqués, par exemple dans certains domaines de la médecine, où il n’y a pas de faits concrets sur lesquels s’appuyer.
Mais je peux clairement voir que confirmer un fait évident pourrait être simple, par exemple, la date et le lieu de naissance d’une personnalité célèbre, par exemple. Cela pourrait certainement être et devrait être automatisé ?
Vraiment un domaine intéressant à surveiller, c’est sûr !
Je ne m’attendais pas à autant de réponses variées à une demande de fonctionnalité, d’habitude après avoir posté, elles restent là à prendre la poussière, les réponses sont appréciées.
Voici un aperçu de deux scénarios liés à cela qui, je l’espère, donneront une meilleure compréhension de la demande de fonctionnalité.
L’utilisateur identifie des hallucinations
Un utilisateur utilise un LLM, par exemple ChatGPT, pour obtenir des informations sur les chants grégoriens. Il colle la complétion ChatGPT dans une réponse Discourse. Pour les parties de la réponse/complétion qui contiennent des hallucinations, l’utilisateur sélectionne les données, clique sur une icône pour les hallucinations et les métadonnées de la section, pensez à un span HTML ou similaire, sont mises à jour pour indiquer que le span contient une hallucination.
Les spans pourraient être aussi petits qu’une option pour une ligne de commande. Pour cette ligne de commande générée par ChatGPT
gregorio -i --gregfont=“Caeciliae” myfile.gabc
il semble que l’option gregfont soit une hallucination, donc cette section devrait être marquée comme une hallucination --gregfont="Caeciliae".
Si l’on inspectait le HTML avant et après l’annotation, on verrait quelque chose comme ceci :
L’API consomme des données avec des hallucinations
Un utilisateur recherche une ligne de commande pour créer des partitions de chants grégoriens, il ajuste la requête pour ne pas inclure les hallucinations. Alors que le moteur de recherche génère des résultats, il trouve une correspondance pour une page contenant la commande
gregorio -i --gregfont=“Caeciliae” myfile.gabc
Le moteur de recherche vérifie ensuite les lignes de commande sur la page et trouve celle qui l’intéresse. Le moteur de recherche vérifie ensuite la ligne de commande pour voir si elle contient une hallucination et trouve l’élément span avec l’hallucination et ne l’inclut pas dans le résultat de la recherche.
Évidemment, on pourrait créer un plugin pour des outils comme Chrome afin d’ajouter les spans nécessaires, mais il faudrait aussi un standard, pensez à une RFC, des métadonnées pour qu’elles soient analysables pour une utilisation avec des API.
Les scénarios ci-dessus ont été adaptés pour les pages Web, mais des choses similaires devraient s’appliquer au LaTeX, etc.
Bien que les scénarios ci-dessus n’aient utilisé qu’un scalaire pour identifier une hallucination, les métadonnées pourraient être plus complexes, pensez à du JSON ou à un type de données algébrique.
Il me semble que c’est une demande de fonctionnalité qui sera utile dans certaines communautés, mais pas dans toutes.
Personnellement, je serais heureux de voir le texte généré par machine toujours caché dans un mécanisme similaire à un spoiler : je veux savoir que c’est ce que c’est, et je veux le savoir avant d’investir du temps à le lire.
Ce serait également l’occasion d’inclure quelque chose dans les règles locales : ne pas délimiter votre texte généré par machine est une infraction signalable.
Placer le texte généré par machine dans un mécanisme similaire à un spoiler permet également à l’auteur de poster d’ajouter des commentaires ou des descriptions : il pourrait inclure le texte parce qu’il est amusant de manière erronée, ou éducatif de manière erronée, ou parce qu’il est utile.
La question des futurs modèles linguistiques étant entraînés en partie sur les résultats d’anciens modèles linguistiques… c’est probablement un gros problème, plus important que les balises spoiler.
C’est bien beau, mais la première étape ne consiste-elle pas à l’identifier comme étant produit par une machine ? Étant donné que vous ne connaissez pas certains utilisateurs depuis Adam…
Cela peut être impossible et tout ce que vous pouvez faire est de vérifier la précision d’une manière ou d’une autre…
Ma réflexion est qu’il s’agit d’un problème de modération. Certains textes semblent suspects, des enquêtes sont menées et ils sont signalés comme « générés par machine mais non marqués comme tels » ou comme « spam probable ».
Je crois comprendre que certaines personnes essaient de créer des services capables de détecter les textes générés par machine, mais je ne sais pas dans quelle mesure ils sont efficaces, ni quel sera leur coût. Dans le monde de l’éducation, il s’agit de tricherie, et il y a des motivations pour la détecter.
4, 6, 4, 5