Ci sto pensando da un po’, soprattutto dopo l’integrazione del sentiment dell’IA e dopo una discussione con @maiki. Mi stavo chiedendo se fosse possibile avere, accanto al nome utente di una persona o nel suo profilo, una breve descrizione di come quella persona tende a comportarsi o comunicare? Potrebbe essere leggera e fantasiosa, ad esempio:
“Perdonate Dave, a volte parla un po’ più direttamente di altri (ma ha sempre buone intenzioni :))”
Oppure “Simon è estremamente amichevole, potresti dover cercare tra la sua cordialità per trovare il suo punto”
Questi sono solo alcuni esempi estemporanei. Il caso d’uso principale è che tutti conosciamo persone che semplicemente comunicano in un modo che a volte non è il più amichevole, anche se hanno buone intenzioni. O forse qualcuno che è semplicemente un po’ eccentrico nel modo in cui dice queste cose. Se si ha familiarità con il loro stile, si può leggere con comprensione. Tuttavia, se non si ha familiarità con quella persona, ed è la prima interazione con lei, certi stili di comunicazione possono essere fraintesi. La schiettezza può essere vista come maleducazione, la cordialità come falsità, e alcune stranezze sono semplicemente troppo bizzarre per il lettore per essere comprese.
Mi chiedo se qualcosa del genere sarebbe possibile, e se possibile, funzionerebbe nella pratica?
Stiamo attualmente sperimentando l’analisi del sentiment sui profili utente (solo lo staff può vederla). Penso che a un certo punto potremmo renderla disponibile a tutti gli utenti.
Penso che, a seconda dei modelli, questo tipo di analisi potrebbe essere possibile in futuro esaminando l’intera cronologia di argomenti/post di un utente. Anche se questo potrebbe essere limitato in una certa misura
Penso che questo possa dare falsi positivi, perché come si fa a sapere veramente se qualcuno ha buone intenzioni a meno che non lo si conosca intimamente di persona?
Se questo sistema venisse implementato, verrebbero applicati standard diversi a utenti diversi, in base ai risultati variabili delle analisi dei loro stili di comunicazione, quando i moderatori decidono se confermare o meno un flag sollevato contro uno dei loro post?
Per favore, non fraintendere questa domanda. Piuttosto, considera che è intesa come una domanda amichevole posta con uno stile di comunicazione diretto.
Forse questo potrebbe essere accompagnato da link su come e perché cambiare i propri schemi di comunicazione per gli utenti particolarmente problematici? Ad esempio, un utente mostra un aumento del sentiment aggressivo, ma può vederlo nella propria analisi e ricevere link ad argomenti che delineano modi alternativi di comunicare che in genere portano a risultati migliori.
Analisi del sentiment JIT nel Composer
Espandendo leggermente questo, ho anche menzionato a Saif l’idea di avere un’analisi JIT nel composer. Se un tono ostile emerge, forse il composer dà loro un avviso di calmarsi prima e tornare più tardi?
Incoraggiare gli utenti a essere introspettivi riguardo al proprio comportamento sembra una pratica saggia. Il FAQ e i Termini di servizio di Discourse sono ben progettati per stabilire un tono egualitario e accogliente all’interno delle numerose community che utilizzano questa eccellente piattaforma di discussione. È incoraggiante unirsi a una community quando questa presenta fin dall’inizio l’impressione che tutti i membri saranno tenuti a conformarsi agli stessi standard che implicano il rispetto reciproco. Sarebbe spiacevole se un sistema di analisi del sentiment offrisse invece l’errata impressione che possa concedere ad alcuni utenti, come Dave, nel post originale, la licenza di discostarsi da tali standard, mentre ai gentili, come Simon, si richiederebbe di continuare a comportarsi bene.
L’analisi del sentiment esposta pubblicamente per utente non è qualcosa con cui mi sento personalmente a mio agio. Non sono nemmeno sicuro se mi sento a mio agio con il fatto che il personale possa vederlo / o se questa dovrebbe essere una funzionalità.
Il mio problema principale con il “sentiment” è che è intrinsecamente un’opinione e un giudizio basato su un’interpretazione delle parole. Non sono convinto che dovremmo darlo all’IA.
Non credo che abbiamo dati che mostrino cosa e come viene derivato il sentiment? Per quanto ne so, è più una scatola nera, ma potrei sbagliarmi.
Alcuni problemi che ho con l’analisi del sentiment:
Se qualcuno è una persona che sfida le idee e offre repliche, è un sentimento negativo?
Che dire della positività tossica?
Inoltre, questo forum è specifico? Valuta in base al contesto generale del forum nel suo complesso? Cosa succede se c’è un forum chiuso per discutere idee che alcuni considerano “sbagliate”, l’IA del sentiment decide l’argomento giusto/sbagliato? O deriva all’interno della community?
Se l’IA sta comunemente allucinando, dandoci piccole imprecisioni tutto il tempo, come possiamo essere sicuri che non allucini anche nella sua analisi del sentiment?
Sto esprimendo il mio disaccordo e offrendo ragioni per cui ho preoccupazioni riguardo a questa funzionalità, e il mio post viene visto come “negativo”.
Penso che personalmente propenderei per il “non pubblico” per l’analisi individuale, perché etichettare qualcuno come “negativo” (o altro) può portare a stereotipi ingiusti. Certo, forse qualcuno è negativo, o forse l’inglese non è la sua prima lingua… o forse l’IA è prevenuta verso certe norme culturali mainstream.
Tuttavia, penso che sia giusto che se un amministratore utilizza uno strumento come questo… l’individuo possa vedere cosa dice su di lui.
Per rendere il tutto completamente ciclico, ho chiesto a Chat-GPT di questa discussione… e pone un’opinione ragionevole:
È fondamentale considerare la natura soggettiva dell’analisi del sentiment dell’IA e il suo potenziale di interpretare erroneamente il contesto o le sfumature culturali. Inoltre, dovremmo essere consapevoli delle preoccupazioni sulla privacy e del rischio di etichettare o stereotipare gli utenti in base a profili generati dall’IA.
Forse si potrebbe esplorare una via di mezzo. Invece di etichette pubbliche, potremmo considerare strumenti opzionali per la riflessione personale, consentendo agli utenti di visualizzare e contemplare privatamente i propri schemi di comunicazione. Ciò potrebbe favorire la consapevolezza di sé senza categorizzare o giudicare pubblicamente.
Invece di etichettare “positivo”, “negativo”, ecc., questo può essere posto come “il linguaggio che usi potrebbe a volte essere visto da altri come negativo o inutile” e forse anche consentire all’utente di fornire un feedback su quanto ciò sembri accurato dalla sua prospettiva.
È utile evidenziare il problema effettivo che necessita di essere risolto.
Ci sarebbe molto che potrei dire a riguardo, ma non credo che porterebbe a una conversazione utile qui. Forse la cosa più utile che posso dire è che, come qualcuno che (spero) è generalmente un utente non impegnativo, non mi impegnerei con alcun forum che pubblicasse qualcosa come “stile di comunicazione” o un punteggio di sentiment generato dall’IA sul mio profilo. Quindi potrebbe ridursi all’essenziale: per il possibile beneficio di migliorare lo stile di comunicazione di alcuni utenti impegnativi, rischieresti di perdere i contributi di alcuni utenti non impegnativi.
Forse dovrei chiarire. Quest’area è ancora sperimentale e stiamo cercando di imparare/migliorare ciò che può e dovrebbe essere fatto. In particolare, renderla disponibile è una strada molto lunga, se mai diventerà una realtà in futuro.
Questa mi sembra la soluzione migliore. Non solo incoraggia l’utente a migliorare i propri post, ma il feedback potrebbe anche estendersi al miglioramento di come comunica con gli altri nella vita di tutti i giorni. Sarebbe un piacevole effetto collaterale
Forse tale feedback dovrebbe apparire solo quando l’argomento di un utente è significativamente più tossico del resto della community, o se il suo stile di comunicazione corrisponde a uno che viene comunemente frainteso?
E il tuo disaccordo è stato presentato anche con un tono molto ragionevole. Attualmente la vedo come un problema di perfezionamento – Un’IA migliore vedrebbe quella risposta come: “Generalmente contraria a qualcosa, ma con un tono neutro”
Infatti, GPT4 fa questo:
Il sentimento del testo è scettico e preoccupato per l’affidabilità e le implicazioni etiche dell’analisi del sentimento guidata dall’IA.
Il tono del testo è cauto e interrogativo, riflettendo disagio e scetticismo riguardo all’analisi del sentimento dell’IA.
Quindi è negativo, nel senso di non favorevole, piuttosto che negativo nel senso di maleducato/dannoso.
Esaminando le risposte qui, ritengo che la soluzione più preziosa e accettabile sarebbe un intervento JIT (Just-In-Time) negli scritti che sono eccessivamente tossici, o contengono precursori di fraintendimenti prima che vengano pubblicati. L’utente ha ancora il diritto di pubblicare il contenuto originale, noi facciamo la nostra parte per garantire che siano adeguatamente informati sui negativi che la loro scrittura può creare nella sua forma attuale, e presentiamo un’alternativa che potrebbe essere più produttiva.
Sembra una buona alternativa molto produttiva - molto di supporto per gli utenti di questo forum e potenzialmente di molti altri, se questa funzionalità dovesse essere offerta ampiamente, ed evita il rischio che pensino che una qualche valutazione nascosta del loro stile di comunicazione venga utilizzata per gestirli.
Questo è un argomento interessante, penso che potrebbe essere utile iniziare prima se le persone volessero descrivere il proprio modo di comunicare con parole proprie.
Per me ho difficoltà a comunicare via testo, tranne che per comunicazioni abbastanza semplici/brevi come “la riunione sarà alle 10:30 del mattino” o qualcosa del genere.
Con la comunicazione di persona ho sentito che solo circa il 7% della comunicazione può essere definita dalle parole effettivamente pronunciate o scritte. Mentre ci sono anche limitazioni alle riunioni di persona / parlare al telefono, la piattaforma Discourse può essere utile principalmente per pubblicare testi più estesi che potrebbero richiedere tempo per essere rivisti e per molte persone per poter comunicare simultaneamente senza interrompersi a vicenda.
Per evitare malintesi può essere utile avere riunioni di controllo almeno una volta alla settimana o al mese per rivedere dove si trovano le persone e cercare di dare un senso a ciò che viene scritto.
Quindi forse un plugin come User Notes? Dove ogni membro può applicare la propria nota privata? O qualcosa di visibile a tutti?
Un problema con le cose pubbliche è se l’utente “etichettato” viene profilato da una fonte esterna. Potrebbero offendersi. A meno che non sia qualcosa che hanno scelto.
Esiste un plugin Discourse non mantenuto chiamato User Feedback in cui gli utenti possono valutare e, se configurato, lasciare una recensione. Tuttavia, lo stesso problema potrebbe causare calamità se gli utenti si offendono per ciò che viene pubblicato.
Ho avuto, diciamo, un utente immaturo che è impazzito per una reazione .
Tempo fa, prima che Discourse aggiungesse l’opzione di silenziare l’utente, un utente ha creato uno script tamper monkey che permetteva all’utente di aggiungere persone da nascondere e, per divertimento, aveva un’etichettatura. Decorava amministratori, moderatori, l’autore del topic e si potevano etichettare gli utenti. Ogni utente poteva essenzialmente avere un componente tematico del browser. Potrei provare a vedere se riesco a trovare lo script, poiché immagino non sarebbe troppo difficile convertirlo in un componente tematico.
Forse usando un campo utente personalizzato per aggiungere utente ed etichetta.
Questa è un’ottima soluzione per un team o un gruppo che ha tali opportunità di contatto. Come la applicheresti su larga scala e con fusi orari multipli?
Per noi ci saranno migliaia di colleghi che comunicano attraverso tutti i fusi orari, tra molti team. Sfortunatamente, tali chiamate non sono possibili. Anche se lo fossero, quelle chiamate porterebbero parti importanti della conversazione fuori dalla piattaforma in modo che altri non potessero imparare da esse
Molto vero. Vedo questo come un motivo per cui può essere fatto solo da una parte che non può trarre vantaggio da una errata caratterizzazione dell’utente, come un’IA.
Più ci penso, più sento che la proposta originale di uno stile di comunicazione è superata da un coach di comunicazione JIT (Just-In-Time) nel compositore. Più di ogni altra cosa, amo l’idea che tale coaching comunicativo si diffonda nel mondo esterno. Lo “stile di comunicazione” semplicemente non lo realizzerebbe, e come dici tu farebbe infuriare le persone, comprensibilmente, se si sentissero in qualche modo mal caratterizzate (e le probabilità sono che lo saranno).
Le riunioni sono limitate in termini di scala e non sono raccomandate per fusi orari diversi.
Un’opzione è quella di avere chiamate di domande e risposte in cui le persone possono scrivere le domande in anticipo, quindi la chiamata viene registrata in modo che possano ascoltarla in un secondo momento.
Questa è in realtà un’ottima opportunità per sollevare un principio del GDPR applicabile qui, l’articolo 22, relativo al processo decisionale automatizzato.
Avere un’etichetta negativa pubblica applicata ai tuoi post o al tuo profilo è qualcosa a cui un utente potrebbe ragionevolmente obiettare e chiedere una valutazione umana.
Quindi il software deve assolutamente consentire all’amministratore di sovrascrivere ciò che decide di visualizzare pubblicamente.
Etichette come quelle teorizzate nell’OP mi sentirei a mio agio ad applicarle manualmente come amministratore, ma le etichette che ho visto dalla tecnologia attuale di analisi del sentiment (questa persona tende ad essere negativa!) non lo sono assolutamente. Ci sono anche alcuni importanti problemi di comunicazione riguardo a ciò che la tecnologia pensa sia negativo rispetto a ciò che le persone pensano quando vedono il negativo come un giudizio. Questo non è aiutato dal fatto che “spiegare cosa sta facendo il modello” è un’area di ricerca aperta.
La funzionalità era in qualche modo incompleta: non supportava il drill-down, quindi le etichette sembravano molto casuali
La funzionalità è trapelata al pubblico per errore a causa di un bug interno
Non siamo nemmeno sicuri che la funzionalità fornisca valore
Abbiamo annullato questa modifica per ora e ci stiamo riorganizzando.
Nel complesso mi piace l’analisi del sentiment, ma è una funzionalità molto difficile da realizzare correttamente, alcuni luoghi in cui può potenzialmente aiutare la moderazione:
Il sentiment sul forum questa settimana è molto negativo: un sacco di persone si lamentano dell’argomento X e Y.
L’utente X, che di solito è molto positivo, è molto, molto negativo questo mese: forse dovremmo contattarlo?
Ecc…
Meno interessato all’etichettatura, molto più interessato al rilevamento di “anomalie” o a tendenze negative generali.
- molto di supporto per gli utenti di questo forum e potenzialmente di molti altri, se questa funzionalità dovesse essere offerta ampiamente, ed evita il rischio che pensino che una qualche valutazione nascosta del loro stile di comunicazione venga utilizzata per gestirli.
.