Les résumés IA existent depuis un certain temps. Nous avons recueilli quelques retours initiaux, mais nous souhaitions revenir sur la discussion. Alors que nous envisageons d’investir dans le développement futur des résumés IA, j’essaie de comprendre les retours des utilisateurs, en commençant par nous-mêmes ici, chez Meta.
Utilisez-vous les résumés IA ici et dans vos communautés ?
Oui, tout le temps
Parfois, selon le sujet
Non, ce n’est pas utile pour moi
0voters
Retours
N’hésitez pas à exprimer votre opinion et à être honnête. Voici quelques questions directrices qui m’intéressent…
À quelle fréquence l’utilisez-vous ?
Quelle est l’utilité du résumé généré ? Le trouvez-vous fidèle à ce que vous avez lu ?
Je dirais « non », mais je pense que le langage du sondage est un peu présomptueux. Ce n’est pas une décision consciente de ma part. C’est plutôt que dans le contexte où cela pourrait être utile, je n’ai pas encore pensé organiquement « oh oui, je devrais utiliser la résumé par IA ».
langue ; l’anglais n’est pas une langue fonctionnelle sur mon forum, même si tout le monde peut la lire
Je ne peux pas régler l’invite système, car elle est maintenant assez souvent trop longue, trop hallucinée et/ou contient des choses non pertinentes.
Cependant, je peux contourner la barrière de la langue. Je demanderai à un GPT qui utilise le même modèle que pour résumer quelque chose en finnois, et maintenant si je génère un résumé, il sera en finnois.
Je l’utilise une fois tous les quelques jours. En tant que modérateur, je lis chaque sujet. Cependant, les résumés ne me sont pas toujours utiles, mais ils sont créés pour les autres.
Parfois très utile, d’autres fois il manque des informations cruciales. Les résumés font parfois remonter le bruit plutôt que le signal. Si j’ai vraiment besoin d’informations, je ne me fie pas aux résumés pour m’aider à décider, je lis l’intégralité du sujet car il peut y avoir un diamant brut et le résumé le manquera.
J’utilise souvent des résumés basés sur GPT-4, et comme ils mettent à jour les modèles périodiquement, il y a des cas où il semble que le modèle linguistique ait du mal à comprendre le sujet.
Pas toujours. Comme je lis beaucoup de messages, souvent lorsque je reviens à un message, je me retrouve en bas du sujet plutôt qu’en haut où se trouve le bouton. Cela me oblige souvent à faire défiler vers le haut pour accéder au bouton. Il serait plus pratique de l’avoir également en bas.
Je comprends que les hallucinations, le support linguistique et l’accessibilité peuvent être de grands facteurs dissuasifs à l’utilisation.
Sur le point que le LLM ne comprenne pas et/ou donne des réponses incorrectes, peut-être que des résumés plus petits et plus concis pourraient aider à contrer certains de ces problèmes
Je souhaite quelque chose de plus créatif (pas linéaire) pour attirer l’attention, comme raconter une histoire en 1/5 messages et/ou demander des retours via des sondages pour l’engagement.
Parfois, choisir des sujets uniques à l’aide d’analyses (en alternant entre les X sujets les plus populaires*, par visites, par likes).
Avec ces fonctionnalités, je pense que cela pourrait remplacer l’e-mail envoyé par Discourse, donnant un coup de frais à cette fonctionnalité également.
J’aime cette fonctionnalité, il y a une marge d’amélioration
Je n’ai pas répondu au sondage, car ma réponse est différente. Je ne sais pas combien coûtera la connexion de mes forums à une API d’IA, et je ne me suis pas penché sur la question. Lorsque je me suis renseigné sur la traduction, c’était trop cher, donc je suppose que cela pourrait aussi coûter cher.
Je ne l’ai pas utilisé ici, car les sujets ne sont pas longs et je cherche généralement quelque chose de spécifique.
J’ai une approche pour analyser les longs sujets qui fonctionne pour moi :
Je suis assez doué pour la lecture rapide
Je trouve le bouton « (n) messages dans le sujet » qui se trouve sur la carte utilisateur très utile
En général, je trouve le texte généré par l’IA rebutant.
Je suis sûr que j’utiliserais des résumés d’IA en cas de besoin. Autre que cliquer sur le bouton par curiosité, cette situation ne s’est pas encore présentée.
Ce que j’aimerais vraiment voir, c’est un mécanisme pour limiter le nombre de messages et d’utilisateurs dans un sujet. Si cela était fait, il y aurait moins de besoin de résumés générés par l’IA.
L’un de mes espoirs pour l’intégration de Discourse AI est qu’elle permettra aux conversations de se dérouler de manière naturelle et humaine, tout en permettant à un forum de fonctionner comme une base de connaissances pour les utilisateurs qui n’ont pas suivi la conversation dans son intégralité. La recherche sémantique (surtout lors de la recherche dans un sujet) y contribuera. Une autre approche consisterait à utiliser des résumés de sujets générés par l’IA pour diviser un sujet en sections.
Pour les sujets comportant un nombre suffisant de messages, le résumé pourrait présenter l’OP, puis une section « sujets abordés dans ce sujet ». De la même manière que le clic sur le bouton « (n) messages dans le sujet » sur la carte utilisateur extrait les messages de cet utilisateur du sujet complet, chaque sujet abordé pourrait avoir un bouton permettant d’extraire la sous-conversation du sujet complet.
Cela pourrait également être utile aux modérateurs qui souhaitent séparer les longs sujets en plusieurs sujets.
Notez que cela est moins testable sur Meta qu’auparavant. Des efforts ont été faits ces dernières années pour que les sujets restent pertinents par rapport à l’OP.
Contexte
Retours
