Discourse AI - Résumer

[Discourse]

Ce sujet couvre la configuration de la fonctionnalité de résumé du plugin Discourse AI.

Niveau d’utilisateur requis : Administrateur

Résumez les sujets et les canaux de discussion pour un aperçu rapide. Utilisez-le dans les méga-sujets et les longues discussions pour comprendre ce qui se passe.

Fonctionnalités

• Résumer les sujets à partir de la carte du sujet (en haut et en bas du sujet)
• Résumer les canaux de discussion pour une durée spécifique (jusqu’à 7 jours)
• Résumés mis en cache dans les sujets précédemment générés
• Régénérer les anciens résumés
• Afficher la date du résumé et le modèle d’IA utilisé

Activation du résumé

Prérequis

Vous devez configurer au moins un modèle de langage étendu (LLM) auprès d’un fournisseur.
Pour commencer, vous pouvez les configurer via la page des paramètres Discourse AI - Modèle de langage étendu (LLM).

• OpenAI
• Anthropic
• Azure OpenAI
• AWS Bedrock avec accès Anthropic
• Points d’accès HuggingFace avec un modèle de type Llama2
• Auto-hébergement d’un LLM OpenSource
• Google Gemini
• Cohere

Configuration

1. Allez dans les paramètres Admin → Plugins → AI → onglet Settings et assurez-vous qu’il est activé (discourse ai enabled).
2. Définissez le LLM à utiliser via ai summarization model.
3. Cochez ai summarization enabled pour activer le résumé.
4. Nous recommandons de définir quels groupes d’utilisateurs peuvent générer et afficher les résumés via ai custom summarization allowed groups.
5. (Facultatif) Activez les résumés de messages privés (PM) pour des groupes d’utilisateurs spécifiques via ai pm summarization allowed groups.

Les auto-hébergeurs devront configurer les éléments suivants :

• ai_summarization_discourse_service_api_endpoint
• ai_summarization_discourse_service_api_key

FAQ Technique

Le résumé met-il en cache les résultats ?

• Le résumé met en cache les résultats et les rend même disponibles pour tous les utilisateurs en dehors des groupes d’utilisateurs sélectionnés.

Mises en garde

• Les résultats du résumé peuvent ne pas être exacts à 100 %, alors assurez-vous de vérifier attentivement tout résultat.
• Les appels LLM peuvent être coûteux. Nous recommandons d’activer le résumé pour des groupes d’utilisateurs spécifiques afin de contrôler les coûts.

[EricGT]

Question

Résumé

Aujourd’hui, la fonction de résumé a été activée sur le forum OpenAI. En en discutant avec un utilisateur, j’ai découvert que pour les modérateurs, nous voyons Résumer ce sujet avec beaucoup moins de contenu que les autres utilisateurs.

En tant que modérateurs, nous avons l’option Résumer ce sujet

• Pour le forum - un message de sujet suivi d’une réponse affichera l’option
• Pour la messagerie directe - un message de sujet affichera l’option

J’ai essayé de trouver de la documentation à ce sujet et je n’en ai trouvé aucune. Ai-je manqué quelque chose ?

---

---

Commentaires sur la fonction de résumé

OMG ! C’est parfait !

Nous avons besoin de la fonction de résumé, et nous en avons besoin maintenant !

(ref)

Le sujet de résumé mentionné se trouve juste au-dessus de cette réponse, ici.

---

---

Suggestion

Déposer automatiquement une réponse de résumé dans les sujets comportant de nombreuses réponses et de nombreuses vues, en particulier les sujets de discussion.

Il faut évidemment des paramètres pour pouvoir personnaliser la fréquence et les sujets, ce qui peut nécessiter une IA pour la sélection.

Il faut également identifier la ou les réponses de résumé de telle sorte que le code de résumé n’utilise aucune réponse de résumé, car cela pourrait fausser la pertinence des informations pour les résumés suivants.

---

Au cours des derniers jours, en tant que modérateur, j’ai sélectionné des sujets et ajouté des résumés Discourse AI en réponse. Les commentaires, bien que limités, ont été positifs.

Exemples

---

---

Suggestion folle

Créer un site d’actualités Discourse

---

Chaque jour, je visite de nombreux sites pour obtenir des mises à jour. Certains de ces sites fournissent des articles d’actualité sur les dernières tendances de l’IA. Beaucoup de ces articles ne sont en fait que des séries de faits en une seule ligne. Un article d’actualité que j’ai lu ce matin a été tiré du forum OpenAI Discourse et des forums Discord. En utilisant la fonction de résumé pour ce sujet, j’ai remarqué que ce qui avait été généré était aussi bon, voire meilleur, que l’article d’actualité.

Maintenant, beaucoup d’entre nous connaissent Hacker News.

Alors pourquoi pas un Discourse News qui récupère les actualités basées sur les sites Discourse qui acceptent de rendre leur contenu disponible sur le site Discourse News. Il faudrait évidemment des options d’adhésion pour chaque site, utilisateur et sujet, mais on ne sait jamais, cela pourrait devenir une nouvelle source d’information pour The Pile et si cela était fait avec l’approbation appropriée, ce serait bénéfique pour beaucoup.

---

---

Commentaires

J’ai créé un résumé pour ce sujet mais je ne l’ai pas publié publiquement

Code interpreter is turned off, any idea?

Le résumé a été créé après ce message (numéro 5)

Code interpreter is turned off, any idea?

Résumé

L’utilisateur jy.genre a signalé que l’interpréteur de code était hors ligne avec une image téléchargée. EricGT a répondu, disant qu’il était actif pour lui et qu’il produisait du code. Il a également partagé des images du forum Discourse et de la page de statut d’OpenAI montrant un message de maintenance, qu’il n’avait pas vu auparavant. Il a également partagé des messages de maintenance mis à jour. Markanthonykoop a également signalé avoir vu une fenêtre contextuelle de maintenance et avait déjà rencontré des boucles de service. Magejosh a confirmé qu’il ne pouvait pas ouvrir de nouvelles discussions avec l’interpréteur de code mais qu’il pouvait télécharger des fichiers dans des discussions précédemment ouvertes. Il a remarqué des erreurs répétées plus fréquentes et des instructions oubliées, mais a supposé que c’était dû à la maintenance. EricGT a partagé une autre mise à jour de maintenance de la page de statut d’OpenAI.

Deux observations

• L’heure ou la séquence des événements est importante et manque dans le résumé
• Il y a beaucoup d’informations critiques dans les images qui ne sont pas extraites pour le résumé, peut-être que l’OCR peut être utilisé.

[EricGT]

Le sujet original se trouve dans la catégorie Lounge sur OpenAI Discourse, à laquelle la plupart des utilisateurs ne peuvent pas accéder.

Publié ici pour que Roman et Falco le voient et pour éviter à Sam le travail de le relayer ; Sam fait un excellent travail en restant en contact sur la résumé chez OpenAI.

@sam.saffron

« redémarrer ce sujet très bruyant avec un nouveau sujet beaucoup plus clair »

J’aime l’idée de redémarrage.

Pensez également à fusionner des sujets similaires en un seul, par exemple :

GPT has been severely downgraded

Has There Been A Recent Decrease In GPT-4 Quality?

Experiencing Decreased Performance with ChatGPT-4

Terrible performance degradation GPT Plus

GPt-4 is underwhelming now

[Hifihedgehog]

Existe-t-il un moyen de supprimer les résumés mis en cache provenant d’autres LLM ? Je pose la question car un LLM m’a donné cette beauté de résumé, j’en ai donc changé pour un autre, mais je ne suis pas sûr de la manière de supprimer cet ancien résumé du système de forum.

[Falco]

Actuellement, le personnel peut régénérer les résumés après 1 heure. Une autre méthode consiste à utiliser la console Ruby pour supprimer un résumé mis en cache spécifique de la base de données.

[Falco]

Soit dit en passant, nous n’avons pas trouvé les modèles de résumé existants suffisamment bons pour Discourse, et nous sommes passés aux LLM pour cela. Si vous avez un serveur avec suffisamment de VRAM GPU, l’exécution d’un LLM basé sur Llama2 vous donnera d’excellents résultats pour #ai-summarization et ai-helper. J’ai mis à jour le Guide d’auto-hébergement de Discourse AI avec des instructions de base sur la façon d’exécuter ledit LLM.

[pfaffman (Jay Pfaffman)]

@Falco

Si vous avez un serveur avec suffisamment de VRAM GPU

Je suis agacé quand les gens posent cette question, mais pouvez-vous donner une idée de ce qu’est « suffisamment » ?

Peut-être la carte graphique ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12 Go GDDR6 (PCIe 4.0, mémoire GDDR6 de 12 Go, HDMI 2.1, DisplayPort 1.4a, 2 slots, conception de ventilateur Axial-tech, technologie 0 dB) Amazon.com: ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 Gaming Graphics Card (PCIe 4.0, 12GB GDDR6 Memory, HDMI 2.1, DisplayPort 1.4a, 2-Slot, Axial-tech Fan Design, 0dB Technology) : Electronics

[Falco]

@pfaffman

Je suis agacé quand les gens posent cette question, mais pouvez-vous me donner un indice sur ce qu’est « assez » ?

Vous devriez jeter un œil à la modification que j’ai liée ci-dessus, elle contient exactement cela !

Mais la version plus longue est que la quantification vous permet de faire des compromis entre qualité et vitesse pour fonctionner sur des spécifications inférieures. Si vous voulez exécuter les meilleurs modèles, sans quantification, vous avez besoin d’environ 160 Go de VRAM. Si vous acceptez une qualité, une vitesse, une latence, etc. moindres, vous pouvez en utiliser 5 %.

Nous avons des résultats « suffisamment bons » en exécutant le modèle que j’utilise comme exemple là-bas, qui fonctionne à peine sur une machine avec 96 Go de VRAM.

[Hifihedgehog]

@Falco

Actuellement, le personnel peut régénérer les résumés après 1 heure.

Je ne la trouve peut-être pas, alors excusez-moi si c’est le cas, mais où se trouve l’option permettant au personnel de forcer une nouvelle régénération ?

[Hifihedgehog]

@Falco

Actuellement, le personnel peut régénérer les résumés après 1 heure. L’autre moyen consiste à utiliser la console Ruby pour supprimer un résumé mis en cache spécifique de la base de données.

Désolé pour ce déterrage, mais je n’ai pas réussi à trouver la méthode permettant au personnel de régénérer les résumés après 1 heure. Cette fenêtre d’une heure nécessite-t-elle qu’une réponse ait été apportée au sujet, existe-t-il une combinaison d’interface utilisateur secrète à effectuer pour y accéder, etc. ?

[swong (Simon Wong)]

Existe-t-il un moyen d’utiliser la stratégie de résumé de claude-2 d'Anthropic, en utilisant AWS Bedrock avec un accès Anthropic (le chatbot IA a cette option) ?

Actuellement, tout modèle Anthropic ne peut être sélectionné que si ai_anthropic_api_key est configuré.

[Falco]

Oui, vous devez\n\n- Définir ai_anthropic_api_key sur ‘a’ (pour contourner la validation)\n- Remplir vos identifiants bedrock\n- Sélectionner claude 2 comme modèle de résumé\n\nNous avons une refonte prévue de la manière dont les modèles / l’inférence / les API peuvent être sélectionnés dans l’interface utilisateur, mais cela fonctionnera pour vous en attendant.

[EricGT]

Commentaires.

Dans l’ensemble, le résumé fonctionne bien.

Pour les liens vers les images dans la publication, les liens ne sont pas corrects.

OpenAI Dev Day 2023 Live Reactions

par exemple.

Suite à quelques photographies partagées par [Foxabilo](/t/-/475167/13; /t/-/475167/24; /t/-/475167/34; /t/-/475167/37)

[Jagster (Jakke Lehtonen)]

Cela fait partie de la bonne vieille question des langues… mais quelqu’un a-t-il une idée pourquoi la résumé respecte parfois la langue du sujet et pourquoi elle utilise parfois l’anglais ? Cela semble se produire totalement au hasard.

Et la question réelle pourrait être : existe-t-il une invite système où nous pouvons suggérer la langue utilisée ou cela vient-il de l’outil de résumé ?

[sam (Sam Saffron)]

@Jagster

Et la question réelle pourrait être : existe-t-il une invite système où nous pouvons suggérer la langue utilisée, ou cela provient-il de l’outil de résumé ?

Ceci est codé en dur en interne pour le moment, mais nous prévoyons d’autoriser la flexibilité ici.

Certaines personnes aiment les résumés plus longs, d’autres préfèrent des résumés plus courts… etc…

[RBoy]

@Falco

Les stratégies disponibles incluent :

• Une collection de modèles open-source de HuggingFace : bart-large-cnn-samsum, flan-t5-base-samsum et long-t5-tglobal-base-16384-book-summary.
• OpenAI ChatGPT, en utilisant soit gpt-3.5-turbo, soit gpt-4.
• Les modèles V1 et V2 d’Anthropic Claude.

Ce texte pourrait nécessiter une mise à jour car je pense qu’il prend également en charge Gemini.

De plus, concernant l’interface utilisateur des paramètres, y a-t-il une raison particulière pour laquelle les paramètres summarization_strategy et custom summarization allowed groups ont été déplacés vers la page Others au lieu d’être avec la page Discourse AI avec le reste des paramètres d’IA ? Il m’a fallu un certain temps pour trouver cela et cela se perd parmi un ensemble de paramètres non liés.

[RBoy]

Comment activer/désactiver cette fonctionnalité ? Je ne vois pas le bouton Résumer pour les sujets comportant le nombre requis de publications et je vois également des messages dans les journaux d’erreurs, je souhaite donc essayer de la désactiver puis de la réactiver.

[Shauny (Shaun Robinson)]

Comment pouvons-nous désactiver complètement le résumé par IA ?
La qualité est vraiment mauvaise et je trouve le bouton inutile - j’aimerais le supprimer.

[Falco]

@Shauny

Comment pouvons-nous désactiver complètement la fonction Résumer avec l’IA ?

De la même manière que vous l’avez activée avec le paramètre summarization strategy. Pour la désactiver, vous pouvez la rétablir à la valeur par défaut du site.

@Shauny

La qualité est vraiment mauvaise

Quel modèle utilisez-vous ? Nous avons constaté que Claude 3 Opus donne les meilleurs résultats pour cette tâche.