Je viens d’avoir une conversation bizarre avec l’IA d’assistance. Elle m’a donné de mauvais conseils à deux reprises, puis a nié catégoriquement avoir tenu les propos qu’elle venait de tenir. Même après avoir collé des captures d’écran et des copies du texte, elle a continué à nier et m’a accusé de lui mentir. Soit l’IA est en train de perdre la tête, soit c’est moi 
Enfin, elle dysfonctionne clairement de plusieurs manières, donc j’ai pensé qu’il valait la peine d’en parler ici.
Si vous savez quel modèle était utilisé, ainsi que les paramètres pertinents tels que le niveau de raisonnement, ces informations pourraient être utiles. Différents modèles et réglages de raisonnement peuvent se comporter différemment, donc ces détails pourraient aider à déterminer ce qui s’est passé.
Remarque :
Je suis un membre régulier du forum Discourse d’OpenAI, je suis donc assez habitué à voir des rapports impliquant des réponses contradictoires de l’IA, la perte ou la mauvaise interprétation du contexte conversationnel, et des cas où un modèle nie à tort quelque chose qu’il a dit plus tôt.
D’après ce que j’ai observé là-bas, les rapports aussi extrêmes semblent moins courants maintenant qu’ils ne l’étaient lorsque les modèles de raisonnement ont commencé à devenir largement disponibles il y a plus d’un an, bien qu’il s’agisse seulement de mon impression et non de quelque chose que je puisse quantifier.
Merci — comment vérifier quel modèle est utilisé ? C’est ma première fois en tant qu’administrateur d’un forum Discourse, donc je suis encore en train de me familiariser avec l’interface. Je ne me souviens pas avoir effectué de modifications liées à l’IA, je suppose donc qu’il s’agit de l’IA par défaut de Discourse.
C’est un forum hébergé, au fait.
C’est exactement la question que je chercherais à résoudre si j’étais un administrateur suivant un signalement de ce type.
Je suis administrateur sur un autre forum hébergé par Discourse, donc je vais faire un peu de recherche.
J’ai également demandé à ChatGPT de vérifier ma réponse, et il a ajouté ce qui suit. Je vais maintenant le vérifier, mais je voulais vous le transmettre pour que vous n’ayez pas à attendre.
D’après la documentation de Discourse AI, les administrateurs peuvent inspecter les modèles configurés sous :
Admin → Plugins → Discourse AI → LLMs
Les fonctionnalités de Discourse AI sont également soutenues par des personas, et un persona peut être configuré pour utiliser un LLM particulier. La configuration actuelle de la fonctionnalité IA peut indiquer quel persona et quel LLM alimentent une fonctionnalité spécifique.
Références utiles :
Ce que je n’ai pas encore trouvé, c’est une méthode documentée permettant à un utilisateur ordinaire d’inspecter une conversation « Help AI » terminée et de voir le modèle exact qui a géré cette interaction spécifique.
Si quelqu’un sait si ces informations sont exposées aux utilisateurs, aux administrateurs, ou dans les journaux du site pour une requête individuelle, veuillez l’ajouter ici. Ce serait utile pour des signalements de ce type.
En examinant la section générée par IA ci-dessus, que je laisse inchangée par transparence, j’apporterais quelques corrections.
D’abord, je supprimerais le lien Discourse AI – Bot IA. Il ne semble pas nécessaire pour répondre à la question spécifique concernant le modèle utilisé.
Je supprimerais également :
Ce que je n’ai pas encore trouvé, c’est une méthode documentée permettant à un utilisateur ordinaire d’inspecter une conversation « Help AI » terminée et de voir le modèle exact qui a géré cette interaction spécifique.
Cette limitation n’est pas particulièrement pertinente ici, car vous avez mentionné être administrateur, ce qui vous donne accès à des informations de configuration auxquelles un utilisateur ordinaire n’aurait pas accès.
Enfin, maintenant que je sais où trouver les détails de configuration pertinents, je supprimerais également :
Si quelqu’un sait si ces informations sont exposées aux utilisateurs, aux administrateurs, ou dans les journaux du site pour une requête individuelle, veuillez l’ajouter ici. Ce serait utile pour des signalements de ce type.
À ce stade, la voie la plus utile est d’inspecter la configuration de Discourse AI et de déterminer quels LLM sont assignés à la fonctionnalité « Help AI ».
Il existe une très longue liste de paramètres d’IA, mais voici les principaux. Dites-moi si vous cherchez quelque chose de précis, ou je peux publier la liste complète.
MODIF : J’ai un compte Claude totalement séparé de celui-ci, et Claude est assez utile pour les requêtes Discourse, mais je m’attendrais à ce que l’agent d’assistance Discourse par défaut soit plus performant qu’une IA générale.
Comme je ne suis pas un expert de tous les paramètres actuels de Discourse AI, voici ma meilleure compréhension.
Sur mon site comme sur le vôtre, le paramètre indique :
Modèle LLM par défaut : CDCK Hosted LLM
D’après ce que j’ai pu trouver, il s’agit du service LLM hébergé par Discourse. Plus précisément, l’implémentation actuelle de CDCK/MoM est une couche de routage Mixture of Models (Mélange de modèles) plutôt qu’un modèle unique et fixe. Elle peut orienter les requêtes vers différents modèles à poids ouverts en fonction de la tâche. Discourse propose une explication utile à ce sujet ici :
Un autre endroit utile à consulter est :
/admin/plugins/discourse-ai/ai-llms
Il s’agit de la page de configuration des LLM de Discourse AI, où les administrateurs peuvent voir les connexions LLM configurées et les modèles disponibles pour les fonctionnalités Discourse AI.
Par exemple, sur le site dont je suis administrateur, je vois :
ce qui indiquera si c’est ce qui soutient l’action que vous avez utilisée.
Cela semble répondre à la question que j’avais posée concernant le modèle et les paramètres.
À première vue, cette liste m’a un peu surpris. Puis je me suis demandé si vous étiez peut-être sur l’offre gratuite.
En consultant votre précédent sujet Passage en pleine largeur, j’ai trouvé :
Je suis sur l’essai de 14 jours de la version Pro
Donc, ma curiosité est satisfaite.
Un autre exemple pour vous montrer que vous n’êtes pas le seul.
Je suis maintenant sur le forfait Pro complet, donc cela devrait être le comportement par défaut pour celui-ci.
En outre, je me sens beaucoup plus à l’aise avec la largeur de Discourse actuelle et j’ai apporté les ajustements nécessaires. En y repensant, les anciens forums en pleine largeur avaient un aspect un peu étrange
À ce stade, il n’y a pas grand-chose d’autre que je puisse ajouter, mais je ne voulais pas vous laisser dans l’incertitude quant à savoir si je continuais à m’y pencher.
Je suis ravi que vous ayez partagé cela. D’autres pourraient rencontrer un problème similaire à l’avenir, et ce sujet offre désormais une documentation utile ainsi qu’une piste plus claire pour l’investiguer.
