Discourse AI - triage IA

Je fais juste un suivi pour noter que le triage IA n’a plus besoin des éléments suivants grâce au travail de @Roman sur l’amélioration des invites

3 « J'aime »

Salut à tous ! Ceci est plus un commentaire de félicitations car je voulais d’abord vous remercier tous d’avoir fourni les informations ici en plus des articles que j’avais parcourus concernant cette fonctionnalité.

Cela a fourni un contexte très nécessaire sur la façon dont ce travail a été mis en œuvre. J’étudie actuellement la mesure et l’identification des modèles de toxicité en ligne dans les entreprises, les médias sociaux et surtout les communautés plus petites ou en croissance, et j’ai beaucoup de questions mais rien d’important à signaler pour le moment.

2 « J'aime »

Suivi rapide - cela signifie-t-il que les invites existantes qui étaient déjà en cours d’exécution doivent être mises à jour ?

2 « J'aime »

Oui, les invites existantes doivent maintenant être mises à jour pour refléter les changements.

2 « J'aime »

L’IA de triage est fantastique ! J’ai hâte de voir jusqu’où nous pouvons aller avec elle par rapport à l’algorithme classique de « sac de mots ». Le classificateur de publications est une excellente fonctionnalité. Je me demande s’il est prévu de l’autoriser à être utilisé avec la file d’attente d’approbation des publications. ( approve post count, approve unless allowed groups).

Donc, en gros, utiliser un classificateur non seulement pour ajouter à la file d’attente pour examen, mais pour approuver ou rejeter automatiquement à partir de la file d’attente. (Je ne parle pas de la gestion des drapeaux, seulement des approbations)

Je vois le triage de publications par IA et la file d’attente d’examen des publications comme complémentaires.

4 « J'aime »

Pour ajouter des balises ou modifier des catégories, il existe actuellement les options suivantes (corrigez-moi si je me trompe)

  • l’utilisateur utilise l’assistant IA pour suggérer des balises et des catégories depuis l’éditeur en se basant sur des vecteurs d’incorporation de voisins les plus proches, en les comparant à des publications précédentes.
  • l’administrateur met en place un classificateur de publication IA distinct qui exécute le sujet via un LLM pour chaque balise possible et chaque catégorie possible, ce qui ajoute la balise ou modifie la catégorie lorsque la sortie du LLM l’indique. Il n’ajoutera pas de balises arbitraires, chaque classificateur ajoutera seulement une balise spécifique oui ou non. Ce n’est pas seulement fastidieux à mettre en place et à maintenir, c’est aussi coûteux car il faut toutes les exécuter.

Ce que j’aimerais avoir, c’est un classificateur qui prend une instruction comme

Vous êtes un assistant de balisage pour un forum. Le forum traite de X, Y et Z.

Votre tâche consiste à baliser les publications du forum avec une ou plusieurs des balises suivantes :

  • une balise qui spécifie si la publication vend quelque chose ou recherche quelque chose. Balises : for_sale, wanted, advice
  • une balise qui spécifie le type d’article concerné par la publication : cars, services, tickets, kids_stuff, home_and_garden, other.

Si vous trouvez un message qui est NSFW, balisez-le NSFW.

Vous pouvez également définir des actions afin de modérer une publication.
Si vous trouvez un message qui est pertinent pour ce forum mais qui pourrait être considéré comme offensant, définissez l’action sur ‘flag’.
Si vous trouvez un message qui n’est pas pertinent pour ce forum, définissez l’action sur ‘hide’

Cela pourrait alors être accompagné de la nouvelle option structured outputs d’OpenAI pour renvoyer une structure JSON qui spécifie les balises à ajouter ou l’action à entreprendre, qui sera ensuite traitée par le classificateur.

Quelque chose comme cela est-il prévu et/ou une PR est-elle la bienvenue ? Ou cela relèverait-il du territoire des plugins ?

7 « J'aime »

Je pense que la façon la plus sûre de procéder serait de définir une toute nouvelle automatisation pour cela. Elle est structurellement très différente de l’actuelle.

Je pense que nous serions ouverts à une PR bien testée pour Discourse AI.

Gardez à l’esprit que le prompt de complétion dans l’IA ne prend pas en charge les sorties structurées pour le moment, ce concept devrait être ajouté et implémenté pour les modèles OpenAI, nous avons une tonne de modèles, beaucoup n’ont pas de prise en charge native, je serais ouvert à une PR juste pour fournir la prise en charge OpenAI pour commencer tant que ce n’est pas déroutant pour les utilisateurs finaux et que nous leur permettons de sélectionner un modèle ne prenant pas en charge la fonctionnalité.

C’est un changement raisonnablement important cependant, mais si vous vous sentez courageux… allez-y.

Je recommanderais de procéder en plusieurs PR, en commençant par donner la prise en charge de la sortie structurée aux prompts de complétion (testée).

9 « J'aime »

Dans le processus de création d’une automatisation « Tagger automatiquement les articles », je ne parviens pas à sélectionner une étiquette qui a été ajoutée à un groupe d’étiquettes. Veuillez me faire savoir s’il existe des solutions de contournement. Je préfère conserver le groupe d’étiquettes existant. Merci !

1 « J'aime »

Salut tout le monde,

Est-ce que je comprends bien ? Si j’ai 50 catégories que je vais utiliser pour le triage par IA afin de catégoriser automatiquement les sujets dans ces catégories, j’aurai besoin de 50 automatisations uniques pour y parvenir ?

Est-ce que l’appel au LLM n’est effectué que lorsque de nouveaux sujets sont créés pour ce premier message ? Il semble que l’utilisation de l’IA ne soit pas excessive dans ce scénario.

Je crois avoir lu que quelqu’un envisageait une autre approche pour cela, mais il se peut que ce ne soit qu’à l’étape de l’idée, je suppose.

3 « J'aime »

Je pense que la réponse à ma question dépend de la granularité avec laquelle vous souhaitez catégoriser automatiquement.

Peut-être que quelqu’un pourra répondre à la question suivante : lorsque l’on utilise l’automatisation pour catégoriser automatiquement les sujets, la correspondance de la boîte de saisie de recherche a-t-elle la priorité sur l’utilisation de l’IA ?

En d’autres termes, si je définis « Banane » comme terme de recherche dans l’automatisation et qu’un utilisateur crée un sujet en utilisant « Banane » dans sa publication, correspondance, pas d’IA appelée. Catégoriser comme banane.

Si l’utilisateur crée un sujet qui fait référence à « fruit jaune que les singes mangent », pas de correspondance, l’invite IA s’exécute et peut déterminer que cette description est une banane :banana:.

Dans ce scénario, « Banane » serait également une catégorie existante.

1 « J'aime »

certains de ces éléments sont liés à ce dont @RGJ a parlé et à certaines idées que j’ai explorées avec @Falco.

Je suis en train de m’ouvrir à l’idée de permettre à une persona d’agir comme un agent, puis vous pourriez laisser cet agent libre de faire diverses choses pour vous via des outils, comme catégoriser des sujets et ainsi de suite.

Les mécanismes ici sont tous en suspens, mais nous y réfléchissons.

50 automatisations est clairement une solution terrible.

6 « J'aime »

Bonjour

L’IA Triage peut-elle effectuer des recherches ? J’ai l’intention d’utiliser une invite qui évite les sujets avec des titres similaires si la date de création de l’autre sujet est antérieure à un jour. Est-ce possible avec l’IA Triage ?

1 « J'aime »

Pour le moment, non, on dirait que vous décrivez des comportements d’“agent”. C’est certainement quelque chose auquel nous pensons !

3 « J'aime »

Wow, ça marche à merveille !
Je cherche des conseils : que dois-je mettre comme limite au nombre de jetons ? C’est pour un forum à faible trafic.

Copie ceci ici pour la pertinence

1 « J'aime »

Je pense que cette fonctionnalité doit être améliorée. Je m’attends à ce que l’IA catégorise automatiquement les sujets et les prenne en charge avec des balises appropriées. Ce n’est pas entièrement automatique dans son état actuel (ou je n’ai pas compris). Par exemple, nous devons choisir une catégorie spécifique. En fait, nous avons l’IA, pourquoi ne fait-elle pas tout ? Ce serait une grande commodité pour les utilisateurs et les administrateurs. Si les catégories et les balises étaient automatiquement organisées par l’IA, nous pourrions même inclure le titre. Ainsi, la seule chose que les utilisateurs auraient à faire est d’écrire ce qu’ils veulent dire. Cela nous ferait gagner des secondes et ce serait une grande commodité pour les utilisateurs.

La réponse fondamentale est que « tout » signifie différentes choses pour différentes personnes. Les valeurs par défaut aident, mais trouver une recette qui convienne parfaitement à 99 % des gens est très, très difficile. Toutes les communautés sont quelque peu différentes.

3 « J'aime »

Notre objectif est de faciliter le travail des gens. Automatisons donc cela, et lorsque cela sera nécessaire, les administrateurs ou les utilisateurs autorisés pourront le modifier et faire un retour à l’IA. Cette fonctionnalité peut rester la même, mais nous devons réfléchir à la détermination entièrement pilotée par l’IA des catégories et des étiquettes.

En fait, je m’attends à ce que les gens puissent facilement créer de nouveaux sujets comme ici https://ask.discourse.com/ et ne perdent pas de temps avec les catégories, les titres ou les étiquettes. Ceux-ci pourront être modifiés plus tard si désiré, mais nous devons réfléchir aux avantages de cette commodité pour les utilisateurs.

La probabilité que l’IA puisse faire cela correctement est faible. Si la personne qui rédige le sujet n’en sait pas assez sur la communauté pour savoir dans quelle catégorie il doit aller, ou quel titre raisonnable lui donner, il est peu probable qu’elle publie quoi que ce soit de précieux pour la communauté.

Où cela s’arrête-t-il pour vous ? Pourquoi faire écrire quoi que ce soit aux utilisateurs ? L’IA ne devrait-elle pas générer les sujets et les réponses ?

2 « J'aime »

Je suis d’accord avec les dernières réponses, mais la catégorisation automatique pourrait être une bonne fonctionnalité à expérimenter.

Peut-être qu’une option pour activer/désactiver la fonctionnalité conviendrait aux différents besoins des différentes personnes que Sam a soulignés.

L’UI/UX (interface utilisateur/expérience utilisateur) pour choisir les catégories est difficile pour les utilisateurs non techniques. Personne ne veut faire défiler des listes déroulantes et/ou utiliser la souris + le clavier, mais simplement taper et poster ses messages.

1 « J'aime »