La mia esperienza è esattamente l’opposto. Ho un set di istruzioni che voglio vengano seguite e che richiedono la comprensione del contesto, le quali vengono ignorate dai modelli non pensanti o applicate in situazioni errate. Ho appena tradotto un’intera applicazione in questo modo - >3000 stringhe, con modelli di ragionamento che danno risultati molto migliori.
Ho ridotto lo sforzo di pensiero a basso in base alle mie scoperte e ho ottenuto tutte le traduzioni. Ma credo che limitare i token di output in questo modo sia controproducente, poiché i modelli di pensiero non sono limitati dall’essere utilizzati nelle traduzioni e l’utente non ha idea del perché stia fallendo.
La soluzione potrebbe essere semplice come moltiplicare ulteriormente per 2 se l’LLM ha il pensiero abilitato. O esporre un moltiplicatore come opzione di configurazione.