Ce serait bien d’offrir des options sur la longueur du résumé. Il semble que cela vise un nombre de mots de 150 à 200, ce qui n’est pas beaucoup pour certains sujets.
J’aimerais pouvoir personnaliser l’invite. Par exemple, je privilégierais les puces.
J’aimerais expérimenter avec une invite qui cite qui dit quoi et référence les publications.
Je découplerais le résumé avec le paramètre minimum de publication de l’IA de celui général. Le résumé avec l’IA est probablement utile avec moins de publications.
Notez que gpt-3.5 dispose désormais d’une version avec une limite de 16k tokens, ce qui pourrait être très pertinent ici.
Et maintenant, les 2 fonctionnalités clés que j’aimerais voir :
résumés quotidiens avec la fonction de résumé par IA
résumés lorsque je survole le sujet (par exemple, pré-calculés)
Nous utilisons actuellement une invite simpliste (lorsque OpenAI ou Anthropic sont sélectionnés), mais nous la modifierons très bientôt car nous y travaillons.
La personnalisation est une fonctionnalité intéressante, nous pourrions l’ajouter à l’avenir.
Nous venons de faire en sorte qu’il s’affiche pour les publications ayant au moins une réponse cette semaine.
Nous avons ajouté les modèles à grand contexte d’OpenAI le jour de leur sortie. Actuellement, vous pouvez choisir :
GPT 3.5 Turbo avec 16k
GPT 4 avec 32k
Claude avec 100k
Des travaux sont en cours pour mettre en cache les résumés générés afin qu’ils puissent être utilisés ailleurs, ce qui débloque des fonctionnalités comme celles-ci.
C’est un changement que nous venons de faire cette semaine, il sera donc déployé sur votre site dans les prochains jours.
Qu’est-ce que le « pipeline » signifie ici ?
Comme vous pouvez le voir ici sur Meta, nous l’avons déjà fait. L’ancien résumé s’appelle maintenant « Afficher les meilleures réponses ». Nous travaillons encore sur la conception et l’ordre des boutons.
En utilisant Gemini 1.5 Flash, les résumés contiennent souvent des liens vers plusieurs publications, mais les liens multiples ne sont pas rendus comme des liens. Je ne me souviens pas avoir vu d’autres modèles essayer d’utiliser plusieurs liens.
Les liens vers des publications uniques sont correctement rendus.
Eh bien, c’est tout simplement du markdown invalide, c’est pourquoi ça ne fonctionne pas.
C’est dommage que Gemini Flash ne puisse pas produire de markdown valide, ici sur Meta, nous utilisons Llama 3.1 quantifié en FP8 pour les résumés, et il peut gérer la production de liens markdown corrects sans problème.
Je ne sais pas si vous envisageriez de corriger les problèmes connus, comme la vérification des lundis et de ce markdown particulier. Je réalise que ce n’est pas idéal, mais ce serait peut-être mieux que de perdre d’autres bonnes options d’IA génératives.
Cela semble tout à fait réparable car nous pouvons améliorer notre exemple ici, pour le moment, l’invite est :
Vous êtes un bot de résumé avancé qui génère des résumés concis et cohérents du texte fourni.\n\n- N'incluez que le résumé, sans aucun commentaire supplémentaire.\n- Vous comprenez et générez le Markdown des forums Discourse ; y compris les liens, _les italiques_, **les gras**.\n- Maintenez la langue d'origine du texte résumé.\n- Visez des résumés de 400 mots ou moins.\n- Chaque publication est formatée comme « \u003cNUMÉRO_DE_PUBLICATION\u003e \u003cNOM_D_UTILISATEUR\u003e \u003cMESSAGE\u003e »\n- Citez les publications notables spécifiques en utilisant le format [NOM](/t/-/31793/NUMÉRO_DE_PUBLICATION)\n - Exemple : lien vers la 3ème publication de sam : [sam](/t/-/31793/3)\n - Exemple : lien vers la 6ème publication de jane : [d'accord avec](/t/-/31793/6)\n - Exemple : lien vers la 13ème publication de joe : [#13](/t/-/31793/13)\n- Lors du formatage des noms d'utilisateur, utilisez @NOM_D_UTILISATEUR OU [NOM_D_UTILISATEUR](/t/-/31793/NUMÉRO_DE_PUBLICATION)
Cela semble un peu ambigu. Nous pouvons le baser sur quelque chose comme ceci :
Fondamentalement, @Roman / @Falco, nous devrons expulser ces invites du code source et peut-être les mettre dans un persona afin que les communautés puissent les ajuster et partager ce qui fonctionne mieux.
Je ne serais pas surpris si, à long terme, nous avions besoin d’invites spécifiques pour les modèles les plus faibles.
Un persona fonctionnerait très bien ici si nous avions un support pour les « exemples », ce qui ne semble pas être une énorme contrainte. Soit cela, soit nous le déplaçons vers CompletionPrompt et lui donnons une interface utilisateur.
J’aime l’idée de personnaliser l’invite pour répondre à vos besoins et tirer parti des capacités du modèle. Je pense également que transformer les personas en un concept plus indépendant des fonctionnalités est une bonne idée.
C’est essentiellement l’idée des « fonctions de persona », des « instructions préparées » dont nous avons discuté cette année. Nous déplacerions tout, comme l’assistant IA, le résumé, la recherche, etc., pour les utiliser, permettre la création de personnalisés et avoir une interface utilisateur pour les associer aux fonctionnalités de l’interface utilisateur.
Cela devient délicat lorsque nous mettons à jour ceux qui sont pré-remplis pour expédier un format différent, par exemple XML vers JSON, donc j’espère que c’est quelque chose que nous pourrons envisager de construire l’année prochaine.
Je ne suis pas tout à fait les derniers messages. J’obtiens toujours des résumés invalides. Y a-t-il quelque chose de spécifique que je puisse essayer avec les personas, ou dois-je attendre le refactoring dont vous discutez ?
la fenêtre contextuelle n’est pas assez large
