Sarebbe fantastico offrire opzioni su quanto dovrebbe essere lunga la sintesi. Sembra che questo si rivolga a un conteggio di 150-200 parole, che non è molto per alcuni argomenti.
Mi piacerebbe personalizzare il prompt. Ad esempio, probabilmente opterei per i punti elenco.
Mi piacerebbe sperimentare con un prompt che citi chi dice cosa e faccia riferimento ai post.
Dissocerei la sintesi con l’IA dall’impostazione minima dei post da quella generale. La sintesi con l’IA è probabilmente utile con meno post.
Nota che gpt-3.5 ora ha una versione con un limite di 16k token che potrebbe essere molto rilevante qui.
E ora le 2 funzionalità killer che mi piacerebbe vedere:
riepiloghi giornalieri con la funzionalità di sintesi con IA
riepiloghi quando passo il mouse sull’argomento (ad esempio, pre-calcolati)
Al momento utilizziamo un prompt semplicistico (quando vengono selezionati OpenAI o Anthropic), ma lo cambieremo molto presto poiché ci stiamo lavorando.
Personalizzarlo è una funzionalità interessante, potremmo aggiungerla in futuro.
Questa settimana abbiamo appena fatto in modo che venga mostrato per i post con almeno una risposta.
Abbiamo aggiunto per i modelli a contesto ampio di OpenAI il giorno in cui sono stati rilasciati. Attualmente puoi scegliere:
GPT 3.5 Turbo con 16k
GPT 4 con 32k
Claude con 100k
Sono in corso lavori per memorizzare nella cache i riassunti generati in modo che possano essere utilizzati altrove, il che sblocca funzionalità come questa.
È una modifica che abbiamo apportato questa settimana, quindi verrà distribuita sul tuo sito nei prossimi giorni.
Cosa intendi qui con “pipeline”?
Come puoi vedere qui su Meta, lo abbiamo già fatto. Il vecchio riassunto è ora chiamato “Mostra risposte principali”. Stiamo ancora lavorando sul design e sull’ordine dei pulsanti.
Utilizzando Gemini 1.5 Flash, i riassunti contengono spesso link a più post, ma i link multipli non vengono visualizzati come link. Non ricordo di aver visto altri modelli tentare di utilizzare link multipli.
I link a singoli post vengono visualizzati correttamente.
Beh, questo è semplicemente markdown non valido, ecco perché non funziona.
È un peccato che Gemini Flash non possa produrre markdown valido, qui su Meta usiamo Llama 3.1 quantizzato a FP8 per i riassunti, e può gestire la produzione di collegamenti markdown corretti senza problemi.
Non so se prendereste in considerazione la correzione di problemi noti, come il controllo dei lunedì e di questo particolare markdown. Mi rendo conto che non è l’ideale, ma potrebbe essere meglio che perdere altrimenti buone opzioni LLM.
Questo sembra molto risolvibile perché possiamo migliorare il nostro esempio qui, al momento il prompt è:
Sei un bot di riepilogo avanzato che genera riepiloghi concisi e coerenti del testo fornito.\n\n- Includi solo il riepilogo, senza commenti aggiuntivi.\n- Comprendi e genera il Markdown del forum Discourse; inclusi collegamenti, _corsivo_, **grassetto**.\n- Mantieni la lingua originale del testo riassunto.\n- Punta a riepiloghi di 400 parole o meno.\n- Ogni post è formattato come "\u003cNUMERO_POST\u003e) \u003cNOMEUTENTE\u003e \u003CMESSAGGIO\u003e"\n- Cita post specifici degni di nota utilizzando il formato [NOME](/t/-/31793/NUMERO_POST)\n - Esempio: link al 3° post di sam: [sam](/t/-/31793/3)\n - Esempio: link al 6° post di jane: [d'accordo con](/t/-/31793/6)\n - Esempio: link al 13° post di joe: [#13](/t/-/31793/13)\n- Quando formatti i nomi utente, usa @NOMEUTENTE o [NOMEUTENTE](/t/-/31793/NUMERO_POST)
Questo sembra un po’ ambiguo. Possiamo ancorarlo con qualcosa del genere:
Fondamentalmente, però, @Roman / @Falco, dovremo estromettere questi prompt dal codice sorgente e magari metterli in una persona in modo che le community possano modificarli e condividere ciò che funziona meglio.
Non mi sorprenderà se a lungo termine avremo bisogno di prompt specifici per i modelli più deboli.
La persona funzionerebbe benissimo qui se avessimo il supporto per gli “esempi”, che non sembra una cosa enorme. Oppure possiamo spostarlo su CompletionPrompt e dargli un’interfaccia utente.
Mi piace l’idea di personalizzare il prompt per soddisfare le tue esigenze e sfruttare le capacità del modello. Penso anche che trasformare le persone in un concetto più agnostico rispetto alle funzionalità sia una buona idea.
Questa è fondamentalmente l’idea delle “funzioni persona”, “prepared statements” di cui abbiamo discusso quest’anno. Sposteremmo tutto, come AI Helper, Summary, Search, ecc. per utilizzarli, consentire la creazione di quelli personalizzati e avere un’interfaccia utente per associarli alle funzionalità nell’interfaccia utente.
Diventa complicato quando aggiorniamo quelli predefiniti per spedire un formato diverso, ad esempio da XML a JSON, quindi speriamo che sia qualcosa che possiamo considerare di costruire l’anno prossimo.
Non seguo completamente gli ultimi post. Ricevo ancora riassunti non validi. C’è qualcosa di specifico che posso provare con le persone, o devo aspettare il refactoring di cui state discutendo?
il popup non è abbastanza largo
