Il pourrait être utile de définir des points de repère générés par l’homme pour les résumés, puis de continuer à itérer sur les invites jusqu’à ce que les résultats atteignent ou dépassent ces points de repère.
Quelques exemples :
Gist pour Understanding and managing bootstrap mode
Le mode bootstrap de Discourse est un état spécial facilitant la croissance de la communauté, ajustant automatiquement la confiance des utilisateurs, la fréquence de communication et les mises à jour du répertoire, et peut être identifié par le bouton « Démarrer » ou les journaux d’actions du personnel.
Gist pour un sujet de bug :
Le thème du forum cause le problème de visibilité du menu utilisateur, qui peut être suivi et résolu, ce qui en fait un problème gérable à corriger malgré sa légère difficulté.
Je ne pense pas que l’un de ces extraits approche les performances humaines - les performances humaines étant définies comme ce qui peut être atteint par un bon rédacteur. Je suppose que le problème est que le LLM se voit confier une tâche impossible en lui demandant d’intégrer trop d’informations dans une seule phrase.
L’objectif principal de l’extrait devrait être de donner aux utilisateurs une idée de ce à quoi s’attendre dans le sujet. Il n’a pas besoin de faire beaucoup plus que cela.
Il est probable que le LLM qui génère les extraits doive être conscient du contexte du sujet. Par exemple, pour le sujet de la documentation bootstrap, je m’attendrais à une définition simple du mode bootstrap. Pour un sujet où l’OP est une question générée par l’utilisateur, l’extrait pourrait simplement reformuler la question en termes susceptibles d’être compris par les utilisateurs du site. Un sujet initié par un utilisateur très technique pourrait avoir un extrait utilisant quelques termes techniques, afin d’attirer le bon public vers le sujet.