Mon expérience est tout le contraire. J’ai un ensemble d’instructions que je veux voir suivies et qui nécessitent la compréhension du contexte, lesquelles sont soit ignorées par les modèles qui ne réfléchissent pas, soit appliquées dans de mauvaises situations. Je viens de traduire une application entière de cette façon - plus de 3000 chaînes, avec des modèles de raisonnement donnant de bien meilleurs résultats.
J’ai réduit l’effort de réflexion à faible sur la base de mes découvertes et j’ai obtenu toutes les traductions. Mais je pense que limiter les jetons de sortie de cette façon est contre-productif, car les modèles de réflexion ne sont pas empêchés d’être utilisés dans les traductions, et l’utilisateur n’a aucune idée de pourquoi cela échoue.
La solution pourrait être aussi simple que de multiplier par 2 si l’IA générative a la réflexion activée. Ou d’exposer un multiplicateur comme option de configuration.