Potrebbe essere utile definire alcuni benchmark generati dall’uomo per i riassunti, quindi continuare a iterare i prompt finché i risultati non raggiungono o superano tali benchmark.
Un paio di esempi:
Gist per Understanding and managing bootstrap mode
La modalità bootstrap di Discourse è uno stato speciale che facilita la crescita della community, regolando automaticamente la fiducia degli utenti, la frequenza delle comunicazioni e gli aggiornamenti della directory, e può essere identificata tramite il pulsante “Inizia” o i log delle azioni dello staff.
Gist per un argomento di bug:
Il tema del forum sta causando il problema di visibilità del menu utente, che può essere tracciato e risolto, rendendolo un problema gestibile da risolvere nonostante sia un po’ impegnativo.
Non credo che nessuno di questi estratti si avvicini alle prestazioni umane, con prestazioni umane definite come ciò che può essere ottenuto da un buon scrittore. La mia ipotesi è che il problema sia che all’LLM viene dato un compito impossibile chiedendogli di inserire troppe informazioni in un’unica frase.
L’obiettivo principale dell’estratto dovrebbe essere quello di dare agli utenti un’idea di cosa aspettarsi nell’argomento. Non è necessario fare molto altro.
È probabile che l’LLM che genera gli estratti debba essere consapevole del contesto dell’argomento. Ad esempio, per l’argomento della documentazione bootstrap, mi aspetterei una semplice definizione della modalità bootstrap. Per un argomento in cui l’OP è una domanda generata dall’utente, l’estratto potrebbe semplicemente riformulare la domanda in termini che probabilmente saranno compresi dagli utenti del sito. Un argomento avviato da un utente altamente tecnico potrebbe avere un estratto che utilizza alcuni termini tecnici, al fine di attrarre il pubblico giusto all’argomento.