Les commentaires HTML seront également inclus dans le résumé.
Comme les utilisateurs qui consultent le résumé ne pourront probablement pas voir les commentaires, je pense qu’il serait préférable de les exclure du résumé.
Excusez-moi. J’ai remarqué le commentaire car les performances du modèle sont bonnes.
Le message inclut un exemple de commentaire HTML () pour illustrer le problème. はこん
Marqué comme #wontfix, car je ne suis pas convaincu que cela vaut le compromis de prétraitement supplémentaire du contenu.
Si cela vous dérange dans votre instance, vous pouvez modifier la propriété de l’agent de résumé pour lui indiquer d’ignorer ceux-ci.
N’est-ce pas ce comportement qui introduit un canal caché par lequel un message malveillant pourrait être en mesure d’influencer le résumé sans aucun signe visible qu’il le fait ?
C’est pourquoi les LLM divisent les prompts en système et utilisateur, afin de différencier les entrées sûres des entrées non sûres.
Mais oui, c’est une possibilité, en particulier parmi les modèles plus petits et plus anciens.
Mais, si je comprends bien, aucun de cela n’est un mécanisme, c’est (au mieux) une influence. D’où les jailbreaks incessants. Donc, cela a de l’importance quel texte est montré au LLM, si vous vous souciez de ce qui en sort.