Meine Erfahrung ist genau das Gegenteil. Ich habe eine Reihe von Anweisungen, die befolgt werden sollen und ein Verständnis des Kontexts erfordern, die entweder von nicht-denkenden Modellen ignoriert oder in falschen Situationen angewendet werden. Ich habe gerade eine ganze Anwendung auf diese Weise übersetzt – über 3000 Zeichenketten, wobei Denkmodelle viel bessere Ergebnisse lieferten.
Ich habe den Denkaufwand aufgrund meiner Erkenntnisse auf low reduziert und alle Übersetzungen erhalten. Aber ich glaube, die Ausgabe-Tokens so zu begrenzen, ist kontraproduktiv, da Denkmodelle nicht von der Verwendung bei Übersetzungen ausgeschlossen sind und der Benutzer keine Ahnung hat, warum es fehlschlägt.
Die Lösung könnte so einfach sein, wie die Multiplikation mit 2, wenn das LLM das Denken aktiviert hat. Oder die Bereitstellung eines Multiplikators als Konfigurationsoption.