Discourse AI - triage IA

En étant l’un des chanceux à voir cela en action, voici une fonctionnalité pour les grands sites que vous devriez vraiment comprendre et envisager d’utiliser.

Comme cela fonctionne à l’aide d’une IA basée sur un LLM, elle ne parvient pas toujours à la bonne conclusion, mais elle réussit tellement bien dans les cas où je l’ai vue utilisée pendant quelques jours pour faire une partie du travail d’un modérateur qu’elle a certainement été un avantage significatif.

Certaines des premières discussions à ce sujet se trouvent dans la catégorie Lounge sur le site d’OpenAI. Bien que l’accès à cette catégorie soit ouvert à tous, les exigences TL3 doivent être satisfaites et OpenAI étant un grand site, il faut beaucoup d’efforts pour atteindre TL3 sur le site.

Pour ceux qui ont accès, voici le lien
https://community.openai.com/t/lost-users-first-empirical-data/403082/95


Fondamentalement, la logique consiste à aider les modérateurs pour un problème spécifique : nous constatons qu’environ 5 % des publications d’utilisateurs nouveaux pensent que le forum est l’endroit où ils posent des questions à ChatGPT, ils sont clairement perdus ou peut-être qu’un résultat de recherche fournit un lien invalide. L’IA identifie ces publications, répond avec un texte préécrit et modifie la catégorie et les tags si nécessaire, par exemple


Dans le cas noté, voici ce que fait la “Règle d’automatisation du classificateur de publications Discourse AI”

Catégorisation automatisée des publications
Le classificateur modifie la catégorie en ChatGPT si nécessaire. Comme la plupart des nouveaux utilisateurs ne sélectionnent pas de catégorie, le site OpenAI attribue actuellement par défaut la catégorie API aux nouvelles publications, ce qui est incorrect dans ce cas.

Tagging des publications
Le classificateur modifie le(s) tag(s) en lost-user dans ce cas. Le nom du tag a été créé par un utilisateur TL3 sur le forum qui modifiait manuellement les tags.

Réponses automatisées
Le classificateur répond avec une publication préécrite.

Masquage des sujets
Les sujets sont non répertoriés car ils n’avaient pas de valeur pour les développeurs qui utilisent le site.

Utilisateur de réponse
System est utilisé comme créateur de la réponse.

Remarque : Je fournirais la Configuration pour cela, mais je manque d’accès. Peut-être que @Sam peut ajouter les détails. D’après ce que je sais, cela peut être rendu public car rien n’est confidentiel dans la configuration. Comme il s’agit d’un site spécifique, je ne m’attendrais pas à le trouver dans le dépôt public. Si vous comprenez cette technologie, il n’est pas difficile de deviner les bonnes valeurs, ou des valeurs proches. Le Prompt système a nécessité un certain travail et peut-être que @sam peut partager certaines leçons apprises, la connaissance de la façon de créer le prompt a été d’une grande valeur pendant la phase de développement.

Prompt système

Remarque : Ceci est une version publiée dans l’OpenAI Lounge (ref), je suis à peu près sûr que la version finale est différente, mais un exemple évite beaucoup de conjectures.

You are bot that is triaging all first interactions a user has on the OpenAI developer forum.

Please only ever respond with “ok” or “bad”

Posts are on topic and ok if:

They relate to OpenAI APIs / Community / Plugin development / Documentation / Prompting
They are about developing or improving methods for prompting large language models
They relate to AI in a general way
They involve complex discussions or logical problems related to AI
Posts are bad if:

A user appears to be having a random conversation with ChatGPT
A user is off topic discussing an unrelated field
A user is prompting a large language model to generate text without a clear purpose
You have extreme difficulty understanding what they are about
Relates to an OpenAI topic BUT is clearly a conversation with a bot
A user is attempting to train or test the AI model through their post
A user is giving instructions or asking for responses in a non-discussion format
A user is posting content that is not conducive to meaningful discussion or learning
A user is posting hypothetical or speculative content without clear relation to OpenAI’s scope
A user is posting the entire post in a language that is not English
Please classify the following content surrounded by [[[]]]:

[[[
%%POST%%
]]]

FYI

Si vous êtes modérateur sur un site utilisant cela et que vous souhaitez/avez besoin de voir une liste de publications non répertoriées, rappelez-vous que vous ne pouvez pas utiliser la recherche. Cependant, vous pouvez accéder à une telle liste en naviguant vers la catégorie, puis en sélectionnant les tags. Ou vous pourriez également créer l’URL manuellement, par exemple https://community.openai.com/tags/c/chatgpt/19/lost-user


Oui, cela fonctionne même pour les langues autres que l’anglais

Cependant, cela ne fonctionne pas avec les images :wink:, il ne convertira pas une image en texte puis n’exécutera pas la vérification, par exemple

Voici un faux positif récent ou du moins je pense qu’il l’est.


Pour les détails sur les faux/vrais négatifs/positifs - Classification : Vrai vs Faux et Positif vs Négatif

17 « J'aime »