Come ci sentiamo tutti riguardo a ChatGPT e altri LLMs e come influenzeranno i forum?

Sembra molto bravo in questo:

ecco che vanno diverse aziende! :sweat_smile:

1 Mi Piace

Assolutamente pretestuoso, secondo me.

Dovremmo rimborsare tutta l’umanità per aver evoluto le bellissime lingue che abbiamo?

Ma divago.

1 Mi Piace

Non sono in disaccordo con te, ma sospetto che molte cause legali siano considerate assolutamente pretestuose dai convenuti, ma comunque costose.

2 Mi Piace

Se una domanda e una risposta vagliate da un essere umano (ad esempio, un argomento risolto di Discourse) hanno un valore economico come dati di addestramento, non sembra irragionevole voler essere pagati per questo. C’è bisogno di dati, quindi sarebbe una specie di scenario vantaggioso per tutti.

1 Mi Piace

Ci sono almeno due concorsi di scrittura in cui l’obiettivo è scrivere nello stile di un autore designato. (Bulwer-Lytton e Hemingway)

Ma potrei vedere dove chiedere a un’IA di scrivere un romanzo nello stile di un autore ben noto potrebbe sollevare qualche perplessità a quell’autore o agli eredi, uno stile riconoscibile potrebbe essere considerato una “proprietà intellettuale”, o almeno qualche avvocato sarebbe disposto a rivendicarlo in tribunale.

2 Mi Piace

Qualcuno ha avuto molto interesse da parte degli utenti entusiasti di utilizzare Discourse Chatbot all’interno dei propri forum? Ho visto tutte queste cose sui chatbot e uso ChatGPT, Perplexity, Claude, Bard, ecc. ogni giorno. Ma pensavo che i forum fossero uno spazio sicuro da tutto questo. Ho scritto un articolo su questo ieri Penso che la saturazione dell’IA farà rivivere questa vecchia piattaforma web (forum web)

Sono davvero curioso di sapere se gli utenti dei forum desiderano chatbot e IA quando visitano forum di discussione basati su Discourse e altri. Se è così, dovrò davvero rivedere la mia idea di forum e persino considerare un plugin come questo. Sembra un progetto importante, forse anche dispendioso in termini di tempo. Come sempre, apprezzo tutto quello che fate. Sto cercando di capire la domanda che ha prodotto questo in modo da essere aggiornato, per così dire.

3 Mi Piace

Sto pensando di utilizzarlo in un forum di supporto tecnico per rispondere rapidamente a domande semplici/ripetitive quando il personale è impegnato e durante le ore non lavorative. Penso che sarà ottimo in quella veste.

5 Mi Piace

Sì, recentemente ho aperto una finestra di chat con il supporto Hostinger. Era un chatbot AI. E il chatbot è stato così efficace che mi ha parlato di un’opzione di rimborso di cui non avrei mai saputo e mi ha persino inviato un link alla politica di rimborso! lol
Ha capito cosa stavo chiedendo e non mi ha chiesto se avessi già provato 10 cose basilari. Quindi sì, posso vedere con i casi di supporto, che sia utile.

Speriamo che venga poi salvato nei forum, in modo che altri possano vederlo o anche aggiungere alla discussione piuttosto che sostituirla.

1 Mi Piace

Sarebbe lo stesso anche con una persona di supporto competente che avesse esperienza nell’uso del software per cui fornisce supporto?

1 Mi Piace

Certo che no. Non esiste un’opzione perfetta per tutti.

I GPT possono evolversi. Ma ora quelle sono opzioni di basso livello, anche per fare semplici calcoli matematici. Il 3.5 non è in grado di fare nemmeno le basi in modo affidabile, giusto? L’allucinazione è un problema davvero grande quando dovrebbero esserci fatti, o anche solo vicini alla verità.

Le lingue diverse dall’inglese sono difficili. Per poche lingue massive funzionerà bene, ma per me, e per tutti coloro che parlano una lingua minore e specialmente se la struttura non utilizza preposizioni, le traduzioni non saranno mai di prim’ordine.

GPT tradurrà prima in inglese e cambierà il prompt. Poi la risposta verrà ritradotta dall’inglese, e GPT farà altre modifiche e un altro giro di allucinazioni. Il prodotto finale sarà ben lontano da ciò che è stato chiesto e anche da ciò che GPT offriva all’inizio.

E poiché l’addestramento si basa sull’idea che milioni di mosche non possono sbagliare e la quantità prevale sulla qualità, la quantità di disinformazione e notizie false è più che enorme. E anche in quella situazione ci sarà ancora più finzione, a causa delle allucinazioni.

Certo, non è tutto bianco o nero. Sto usando una soluzione di livello base. Ma se ci sono soldi da spendere, si può fare un proprio addestramento e il campo di gioco cambierà di molto.

Tuttavia, affermo: GPT funziona meglio quando analizza o fa qualcosa in cui non ci sono troppe variazioni. O se può creare qualcosa di “nuovo”, materiale totalmente fittizio. Ma la vasta zona intermedia in cui un GPT dovrebbe offrire fatti e informazioni affidabili… non tanto.

Uso GPT3.5 di OpenAI molto ogni giorno come… una ricerca con steroidi. E non sono troppo felice. Devo controllare, ricontrollare e riscrivere molto, ma non nego che GPT mi stia ancora facendo risparmiare tempo quando creo testi in blocco.

4 Mi Piace

C’è stato uno studio interessante su una versione di questa domanda pubblicata di recente:

https://www.nature.com/articles/s41598-024-61221-0

Le conseguenze dell’IA generativa per le comunità di conoscenza online

Le tecnologie di intelligenza artificiale generativa, in particolare i modelli linguistici di grandi dimensioni (LLM) come ChatGPT, stanno rivoluzionando l’acquisizione di informazioni e la produzione di contenuti in vari domini. Queste tecnologie hanno un potenziale significativo per influenzare la partecipazione e la produzione di contenuti nelle comunità di conoscenza online. Forniamo prove iniziali di ciò, analizzando dati dalle comunità di sviluppatori di Stack Overflow e Reddit tra ottobre 2021 e marzo 2023, documentando l’influenza di ChatGPT sull’attività degli utenti nella prima. Osserviamo significativi cali sia nelle visite al sito web che nei volumi di domande su Stack Overflow, in particolare intorno agli argomenti in cui ChatGPT eccelle. Al contrario, l’attività nelle comunità di Reddit non mostra alcuna evidenza di declino, suggerendo l’importanza del tessuto sociale come cuscinetto contro gli effetti degradanti degli LLM sulla comunità. Infine, si riscontra che il calo della partecipazione su Stack Overflow è concentrato tra gli utenti più recenti, indicando che gli utenti più junior e meno integrati socialmente sono particolarmente propensi ad abbandonare.

7 Mi Piace

Questo descrive abbastanza bene il mio comportamento. Faccio ancora domande e rispondo su Meta, ho una connessione sociale qui. Ma per imparare nuovi linguaggi di programmazione e framework mi affido a una combinazione di ChatGPT e documentazione online.

Forse la cosa principale che gli LLM hanno a loro favore è la loro disponibilità. Preferirei ricevere indicazioni da esperti umani, ma nessuno ha abbastanza tempo o pazienza per rispondere a tutte le mie domande all’istante.

Un grosso svantaggio dell’apprendimento tramite LLM, a differenza dell’apprendimento su un forum pubblico, è che le informazioni generate sono private. È abbastanza raro che imparare qualcosa tramite un LLM sia solo una questione di porre una domanda e ottenere la risposta corretta. È più una questione di porre una domanda, provare ad applicare la risposta, leggere della documentazione per capire perché la risposta non ha funzionato, tornare all’LLM con una domanda di follow-up… alla fine viene generata un po’ di conoscenza.

Non credo che nessuno voglia leggere i log delle chat altrui, ma forse i forum tecnici potrebbero promuovere l’idea che le persone pubblichino le conoscenze che hanno acquisito dagli LLM.

Un altro ovvio svantaggio dell’apprendimento tramite LLM è la perdita di connessione sociale, attenzione umana come motivazione per l’apprendimento, opportunità di lavoro, ecc. Questo è un grosso problema dal mio punto di vista.

14 Mi Piace

La disponibilità è il motivo principale per cui stiamo costruendo un bot di supporto.

4 Mi Piace

Sono ugualmente entusiasta di questa tecnologia e leggermente preoccupato per il futuro del web.

Aziende tra cui Google (e Bing) utilizzano ora i dati raccolti durante la scansione del tuo sito per fornire una risposta a domande basata sull’IA nella parte superiore della loro pagina di ricerca.

Ciò non solo spinge i risultati di ricerca più in basso nella pagina e sminuisce le fonti, ma crea anche un’altra dinamica preoccupante: incoraggerà i fornitori di ricerca a cercare una maggiore integrazione con alcune selezionate grandi fonti di dati.

Ad esempio, Google avrebbe stipulato un accordo con Reddit per ottenere l’accesso alla loro API.

Secondo me, il risultato è che tenderà a promuovere ulteriormente i contenuti sulle piattaforme più grandi e a danneggiare i siti più piccoli.

Al momento c’è una notevole controversia riguardo alla qualità dei risultati che Google sta ottenendo con la sua funzione “AI Overview” e alcuni esempi esilaranti e non così esilaranti che sono discutibilmente piuttosto imbarazzanti per l’azienda. Sono sicuro che la tecnologia migliorerà, però.

Forse i forum più piccoli sono in una posizione migliore per ottimizzare il loro uso locale dell’IA poiché possono specializzarsi. Google sta lottando per fornire un servizio molto generico.

Il tempo lo dirà, ma la battaglia per attirare l’attenzione è ancora molto accesa.

5 Mi Piace

Questa era una delle mie idee. Stavo pensando di perfezionare un modello simile a BERT per classificare automaticamente i post in categorie, o aggiungere automaticamente tag. Rilevare post ‘tossici’ sarebbe un altro caso d’uso.

Per qualcosa come Discourse, probabilmente puoi fare più cose con l’IA di quante io possa fare in una vita. Anche se, una volta che l’IA aiuta a implementarlo, forse può essere fatto in una vita…

3 Mi Piace

Onestamente, penso che questo problema sia alla base di tutti gli argomenti relativi all’IA e, ingenuamente, penso che questo possa essere risolto (solo) da un modello di proprietà della comunità.

Uno che viene addestrato da dati che forniamo volontariamente e regoliamo, semplicemente aderendo alle licenze fornite. Un modello addestrato eticamente, che viene elaborato su tutte le nostre macchine.

Il calcolo peer-to-peer dei dati ha una lunga tradizione, poiché alcuni campi scientifici lo fanno da un paio di decenni.

IMHO, non c’è via d’uscita, o almeno una soluzione comparabile, se vogliamo usare l’IA e non sacrificare i nostri principi, a lungo termine.

2 Mi Piace

La moderazione basata su LLM sarà fantastica, potresti chiederle di valutare ogni post in base a diverse misure arbitrarie (rilevanti per la community) ed eseguire azioni, filtri o assistenza.

Vedo l’inizio di alcune di queste qui ma non è chiaro il set di funzionalità: Discourse AI Features | Discourse - Civilized Discussion

6 Mi Piace

Credo che il set di funzionalità che stai cercando sia Discourse AI - AI triage

Abbiamo in programma di rinnovare la landing page in modo che il contesto sia ancora più chiaro per tutte le funzionalità AI.

2 Mi Piace

Come visto ampiamente su Facebook, Instagram, TikTok, ecc. :winking_face_with_tongue:

1 Mi Piace

Dipende davvero da qual è l’obiettivo: rimuovere contenuti offensivi, guidare l’utente, ecc.

Un obiettivo che mi interessa in particolare è utilizzare un LLM per analizzare domande/problemi quando vengono sottoposti. L’obiettivo non è rispondere alla domanda, ma piuttosto aiutare l’utente a esprimere il proprio problema in modo più costruttivo. Troppo spesso vediamo la prima risposta essere “puoi per favore pubblicare i tuoi log di errore” o “cosa stai cercando di fare esattamente?”. Un LLM potrebbe individuare argomenti che rientrano in questa categoria e spingere l’utente a fornire tali dettagli, accelerando l’intero processo di supporto e creando un argomento di maggiore qualità per i futuri lettori.

I primi lavori sono stati promettenti, mostrando un’accuratezza di circa il 93-95% su un set di dati di circa 60 argomenti. Le imprecisioni non sono nemmeno così gravi: metà delle risposte in cui la nostra valutazione non concorda con quella dell’LLM sono già di per sé molto dubbie.

La mia principale scoperta, per quanto ovvia possa essere, è: più si riduce l’ambito della query all’LLM, più accurata sarà la risposta.

9 Mi Piace