I riassunti AI sono disponibili da tempo. Abbiamo ricevuto alcuni feedback iniziali, ma volevamo rivisitare la discussione. Poiché stiamo pensando di investire ulteriormente nello sviluppo dei riassunti AI, sto cercando di comprendere il feedback degli utenti a partire da qui in Meta.
Utilizzi i riassunti AI qui e nelle tue community?
Sì, sempre
A volte, a seconda dell’argomento
No, non mi è utile
0voters
Feedback
Sentiti libero di esprimere la tua opinione e di essere onesto. Alcune domande guida su cui sono interessato a sapere…
Quanto spesso lo stai usando?
Quanto è utile il riassunto generato? lo trovi accurato rispetto a ciò che hai letto?
Direi “no”, ma penso che il linguaggio nel sondaggio sia un po’ presuntuoso. Non è una decisione consapevole da parte mia. È più che altro che nel contesto in cui potrebbe essere utile, non ho ancora pensato organicamente “oh sì, dovrei usare la sintesi AI”.
lingua; l’inglese non è una lingua funzionante sul mio forum, anche se quasi tutti possono leggerlo
Non posso ottimizzare il prompt di sistema, perché ora è troppo lungo, troppo allucinante e/o contiene cose irrilevanti
Posso comunque aggirare la barriera linguistica. Chiederò a un GPT che utilizza lo stesso modello di riassumere qualcosa in finlandese, tornerò indietro e ora, se genero un riassunto, sarà in finlandese.
Lo uso una volta ogni pochi giorni. Come moderatore, leggo ogni argomento. Tuttavia, i riassunti non mi sono sempre utili, ma sono creati per altri.
A volte molto utile, altre volte manca di informazioni critiche. I riassunti a volte fanno emergere il rumore anziché il segnale. Se ho davvero bisogno di informazioni, non mi affido ai riassunti per aiutarmi a decidere, leggo l’intero argomento poiché potrebbe esserci un diamante grezzo e il riassunto lo mancherebbe.
Uso spesso riassunti basati su GPT-4 e poiché aggiornano periodicamente i modelli, ci sono casi in cui sembra che il modello linguistico abbia difficoltà a comprendere l’argomento.
Non sempre. Poiché leggo molti post, spesso quando ritorno a un post, mi ritrovo in fondo all’argomento anziché in cima dove si trova il pulsante. Questo spesso mi richiede di scorrere fino in cima per accedere al pulsante. Sarebbe più comodo averlo anche in fondo.
Capisco che allucinazioni, supporto linguistico e accessibilità possano essere grandi fattori di deterrenza all’uso.
Per quanto riguarda il fatto che l’LLM non comprenda e/o fornisca risposte errate, forse riassunti più piccoli e concisi potrebbero aiutare a contrastare alcuni di questi problemi
Vorrei qualcosa di più creativo (non lineare) per attirare l’attenzione, come raccontare una storia in 1/5 messaggi e/o chiedere feedback utilizzando sondaggi per coinvolgere.\n\nA volte scelgo argomenti singoli utilizzando le analisi (passando tra i primi X argomenti più popolari*, per visite, like).\n\nCon queste funzionalità penso che potrebbe sostituire l’e-mail inviata da Discourse, dando un rinnovamento anche a questa funzionalità.\n\nMi piace la funzionalità, c’è spazio per migliorarla
Non ho risposto al sondaggio, perché la mia risposta è diversa. Non so quanto costerà collegare i miei forum a un’API AI e non l’ho ancora esaminato. Quando ho esaminato la traduzione, era troppo costosa, quindi presumo che anche questa possa diventare costosa.
Non l’ho usato qui, perché gli argomenti non sono lunghi e di solito cerco qualcosa di specifico.
Ho un approccio per analizzare argomenti lunghi che funziona per me:
Sono abbastanza bravo a leggere velocemente
Trovo il pulsante “(n) post nell’argomento” che si trova sulla usercard super utile
In generale, trovo il testo generato dall’IA respingente.
Sono sicuro che userei riassunti di IA in caso di necessità. A parte cliccare sul pulsante per curiosità, quella situazione non si è ancora presentata.
Quello che mi piacerebbe davvero vedere è un meccanismo per limitare il numero di post e utenti in un argomento. Se ciò fosse fatto, ci sarebbe meno bisogno di riassunti generati dall’IA.
Una delle mie speranze per l’integrazione di Discourse AI è che consentirà alle conversazioni di svolgersi in modo naturale e umano, pur consentendo a un forum di funzionare come base di conoscenza per gli utenti che non hanno seguito l’intera conversazione. La ricerca semantica (soprattutto quando si cerca all’interno di un argomento) aiuterà in questo senso. Un altro approccio sarebbe quello di utilizzare riassunti degli argomenti generati dall’IA per suddividere un argomento in materie.
Per gli argomenti che hanno un numero sufficiente di post, il riassunto potrebbe delineare l’OP, quindi avere una sezione “materie discusse in questo argomento”. In modo simile a come fare clic sul pulsante “(n) post nell’argomento” sulla usercard estrae i post di quell’utente dall’argomento completo, ogni materia discussa potrebbe avere un pulsante che consentirebbe di estrarre la sotto-conversazione dall’argomento completo.
Questo potrebbe essere utile anche per i moderatori che desiderano separare argomenti lunghi in argomenti multipli.
Si noti che questo è meno testabile su Meta di quanto non fosse in passato. Negli ultimi anni sono stati fatti sforzi per mantenere gli argomenti pertinenti all’OP.
Contesto
Feedback
