C’est quelque chose de très difficile à faire correctement, car les invites système contrôlent non seulement les instructions, mais aussi le format de sortie attendu.
Si nous permettons aux utilisateurs de personnaliser maintenant, nous nous inscrivons pour un flot constant d’utilisateurs frustrés car nos mises à jour casseront leur site chaque fois que nous aurons besoin de mettre à jour le format de sortie attendu qui est analysé pour des fonctionnalités telles que les résumés, les assistants, etc.
Une façon de contourner cela est de tout déplacer vers des formats stricts, en utilisant Guidance / des appels fonctionnels / des sorties structurées. Cependant, l’écosystème n’atteint que maintenant le niveau de maturité où cela est disponible dans la plupart des fournisseurs et sur les options auto-hébergées. C’est important car Discourse AI ne verrouille pas les communautés sur OpenAI ; il permet aux gens de choisir parmi des milliers de LLM compatibles.
Tout cela pour dire que c’est quelque chose que nous voulons faire, mais nous ne pouvons pas le faire à moitié. Cela signifie que nous avons besoin que tout l’écosystème de l’IA rattrape son retard, et cela ne se produit que maintenant.