Come obiettivo per quest’anno stiamo cercando di aumentare l’adozione di Discourse AI e delle sue funzionalità. Sto cercando di capire in modo olistico cosa ti impedisce di provare Discourse AI all’interno della tua community.
Capisco che potrebbero esserci aspetti specifici delle funzionalità che potrebbero essere fastidiosi, ma in questo caso sto cercando di avere un quadro generale di quali potrebbero essere i motivi problematici.
Inoltre, se sei disposto a parlare con me a riguardo durante una chiamata, apprezzerei molto qualsiasi feedback
Abuso dell’IA. Intendo dire che le persone usano l’IA per scrivere TUTTO. Rende gli umani inutili, ma questo è inevitabile per tutta l’IA. Ma potrei presto (se potessi pagare)!
Sì, capisco, stiamo pensando di rendere Discourse AI un assistente utile nel tuo percorso con Discourse piuttosto che fare affidamento su di esso per “scrivere” tutto; rendendo anche le persone consapevoli che si tratta di contenuti generati dall’IA che vengono visualizzati per la funzionalità GenAI.
Nella nostra community, gli utenti spammano con risposte spazzatura o soluzioni ai tutorial con la funzionalità che era molto comune proprio al momento del lancio di ChatGPT…
Non siamo ancora su Discourse (la valutazione è ancora in corso), ma concettualmente ci sono due blocchi principali:
La nostra community è composta principalmente da appassionati di giochi di ruolo da tavolo e la creatività umana è molto apprezzata, di conseguenza, c’è una porzione considerevole dei nostri utenti con una prospettiva negativa sull’IA generativa. C’è anche molta sperimentazione con i nuovi strumenti, ma di fatto qualsiasi uso dell’IA generativa deve essere considerato attentamente.
Stiamo auto-ospitando e abbiamo un budget limitato (contribuito da alcuni dei nostri utenti), è sufficiente per un server decente per ospitare Discourse (o qualsiasi altro software per la community), ma il costo sia delle attuali offerte LLM come servizio che dei server GPU dedicati è troppo alto per rientrarci. E anche il beneficio atteso è troppo basso per giustificarlo.
Faccio eco ad alcuni dei commenti precedenti, specialmente alla paura che le persone scrivano troppo con l’IA e che diventi più difficile distinguere cosa è stato “scritto” da un umano e cosa no.
Tuttavia, penso che una paura più grande che ho sia l’uso di un’IA remota. Ho spesso dibattuto su quanto pubblici voglio che siano i miei forum di Discourse e immagino che semplicemente non abbia un’euristica su quanto le API di IA siano invasive per la privacy in questi giorni.
Penso che se ci fossero LLM self-hosted o addirittura on-device più potenti ed economici, allora mi sentirei più a mio agio. Non sono sicuro di come un LLM on-device potrebbe avvantaggiare Discourse, ma qualcosa sull’uso di un LLM remoto mi causa esitazione in questi giorni.
Un LLM open source ospitato su Discourse ti farebbe sentire più a tuo agio rispetto a un altro provider di terze parti? (anche se probabilmente un po’ meno rispetto a on-device?)
Forse un po’, ma preferirei più self-hosted o on-device (di nuovo, se ciò potesse funzionare per un forum self-hosted).\n\nForse se fosse ospitato da Discourse con l’opzione self-hosted, proprio come lo è ora Discourse, sì, sarei più entusiasta. A quel punto, penso che la mia preoccupazione si sposterebbe sulla qualità dell’output dell’LLM e sui costi di gestione.
Sospetto che tu voglia sentire persone con community più consolidate della mia, ma ci provo comunque.
Non c’è nulla che mi impedisca di aggiungere alcune funzionalità basate sull’IA al mio sito Discourse, ma sono interessato alle funzionalità, non al fatto che siano basate sull’IA.
Ad esempio, la ricerca semantica e la possibilità di segnalare automaticamente i post (in modo che possano essere successivamente revisionati da un essere umano) sono entrambe funzionalità che mi piacerebbe utilizzare. Anche la possibilità di tradurre i post al volo sarebbe utile.
Alcuni esempi di ciò a cui mi riferisco in termini di marketing:
quando traduci testo tramite Google, non dicono “traduci con l’IA”, ma offrono semplicemente di tradurre il testo
quando esegui una ricerca su Google, non dicono “cerca con l’IA” anche se l’IA è coinvolta nel restituire i risultati di ricerca (attualmente non eccezionali)
quando Soundcloud suggerisce tag per una traccia caricata, non dice “tagga con l’IA”, l’interfaccia utente suggerisce semplicemente alcuni tag - l’utente finale non è incoraggiato a pensare alla (incredibile) tecnologia che consente al sistema di suggerire tag appropriati basati su un’analisi della traccia caricata
Alcune funzionalità legate all’IA, in particolare quelle relative ai chatbot, potrebbero andare contro lo spirito di ciò che sono le community online. Raggruppando tutte le funzionalità legate all’IA sotto l’intestazione “Discourse AI”, rischi di allontanare le persone da funzionalità che sono basate sull’IA, ma che potrebbero anche essere incredibilmente utili per i loro forum.
Non sono un genio del marketing, quindi prendi tutto quanto sopra con le pinze.
Strumenti essenziali realizzati con l’IA per aiutare la moderazione vanno bene per me. Vedete, voglio un modo per generare immagini, ma rifiuto ogni modo di creare usando l’IA se non avesse il rischio di perdere lo spirito della comunità.
I social media stanno morendo per una ragione, questo è il punto.
Lo sto usando. Sul mio forum l’IA viene utilizzata per spiegare le cose[1]. Ma non lo permetto ai membri generici perché è semplicemente troppo costoso — sono su una scala in cui 50 dollari al mese sono terribilmente costosi
Ma il suo problema principale per me non è colpa dell’IA, ma quanto lavoro è necessario per creare una decente base di conoscenza. Ma per me la più grande debolezza dell’IA è quanto male utilizza gli embedding e quindi il contenuto creato dalla community non è abbastanza buono.
Sì, lo so. Deriva principalmente dai limiti di OpenAI. E la tecnologia non è così pronta per la produzione come affermato. Inoltre c’è una barriera linguistica.
La ciliegina sulla torta: creare un buon prompting è davvero difficile. E dopo qualche settimana qualcosa cambia e i prompt devono essere corretti di nuovo.
Potrebbe aiutare con alcuni lavori di background, un giorno. Ma quando vedo il team che lotta (e dal mio punto di vista, un grande spreco di tempo e denaro, scusate ) con riassunti giornalieri ecc., affermo che richiede troppo lavoro che in realtà non aumenta le entrate, non importa se conteggiato in dollari o felicità. Non sta diminuendo il carico di lavoro di amministratori e sviluppatori, lo aumenta.
Ma ovviamente le grandi aziende dove qualche decina di migliaia di dollari è meno del riempimento mensile delle scorte di bevande energetiche, possono e dovrebbero automatizzare le cose usando l’IA, incluso il forum di supporto di Diacourse. Quello è, e deve essere, l’obiettivo di CDCK — ma non so quanti di questi siano qui a dire i loro pensieri.
as: spiegare le regole del baseball e dare un’ipotesi sul perché sia uno sport così popolare anche se così lento e persino noioso ↩︎
Sembra che il sentimento generale sia che la GenAI causi problemi o abbia il potenziale per creare scompiglio nelle comunità, sottraendo allo scambio naturale e alla creatività umana. Penso che in Discourse AI stiamo cercando di trovare un equilibrio, in modo che sia lì solo per migliorare la tua scrittura, non per scriverla completamente al posto tuo.
@simon ottimo punto sull’“uso dell’IA” nelle funzionalità, certamente il branding dietro questo può allontanare alcune persone e, al contrario, far apprezzare la consapevolezza che si sta interagendo con l’IA.
Gestiamo una piccola community creativa per appassionati, creatori, autori e artisti di narrativa interattiva. Di solito non ci imbattiamo in problemi in cui i compiti di moderazione sono eccessivi, e i nostri moderatori e molti dei membri della nostra community sono felici di rispondere alle domande. Quindi non useremmo l’IA per “fare lavoro di forum”.
Sebbene spesso discutiamo dell’IA nel contesto della “generazione di testo” in relazione ai giochi che creiamo e molte persone ne sono interessate, abbiamo stabilito una regola secondo cui i contenuti generati dall’IA non sono ammessi in situazioni in cui un costrutto di IA “finga” di essere un vero utente del forum e cerchi di ingannare le persone nel tentativo di superare il test di Turing. Non vogliamo che il nostro forum venga utilizzato come banco di prova per l’IA, né che i nostri contenuti storici risalenti al 2006 vengano utilizzati come campo per lo scraping di contenuti testuali.
Se le persone pubblicano materiale generato dall’IA sia per i propri scopi come assistente alla scrittura sia come dimostrazione per un gioco che stanno costruendo, chiediamo loro di dichiarare di cosa si tratta o di citarlo come una fonte, poiché tecnicamente non è materiale “proprio”. Abbiamo avuto diversi spammer che hanno cercato di partecipare e aumentare i livelli di fiducia (presumo) fornendo un argomento a un’IA come ChatGPT e pubblicando i risultati in modo che sembrasse una partecipazione legittima al forum. Poiché il nostro intero genere artistico consiste nel creare un’opera testuale che “risponde” all’interazione di un utente (pensate alle avventure testuali come Zork), la maggior parte delle persone è in grado di individuare abbastanza facilmente i contenuti generati dalla macchina e segnalarli.
Un’IA o un LLM non può accettare i Termini di Servizio e il Codice di Condotta. Se dovesse offendere qualcuno, non c’è modo di moderarlo. Poiché ci aspettiamo che i nostri utenti siano trasparenti riguardo a questo tipo di contenuti, sarebbe probabilmente ipocrita per il nostro sito utilizzare qualsiasi tipo di generazione di IA per contenuti e risposte del forum.
Abbiamo anche dovuto sedare una guerra di flame che minacciava di esplodere perché molti dei nostri utenti sono artisti grafici molto sensibili al furto delle loro opere online come materiale di origine per l’arte generata dall’IA, e un argomento sull’uso dell’arte generata dall’IA nei giochi è rapidamente degenerato in attacchi personali contro le persone che erano d’accordo. Quindi l’IA è uno degli argomenti che dobbiamo monitorare attentamente per assicurarci che non venga discussa nel contesto del plagio intenzionale.
TL;DR: L’IA è un argomento “caldo” per il quale abbiamo dovuto stabilire delle regole, quindi probabilmente non dovremmo usarla nel contesto di un forum popolato da molti artisti e scrittori.
Siamo stanchi del carrozzone dell’IA, quando per lo più produce una montagna di spazzatura e causa danni ambientali in cambio. Non vedo l’ora che la bolla scoppi e che tutti siano ossessionati da qualunque cosa stupida venga dopo o, ancora meglio, si concentrino su qualcosa di veramente utile o semplicemente migliorino le funzionalità di base che tutti stanno ignorando ultimamente per infilare spazzatura IA in tutto perché tutti gli altri lo stanno facendo ed è ciò a cui gli investitori perennemente ignoranti stanno buttando soldi in questo momento…
Probabilmente non è la risposta che volevi, ma questa è la pura verità.
Le principali barriere qui sono la navigazione delle restrizioni interne sugli strumenti di terze parti e sull’accesso ai dati (per ottenere il permesso di iniziare), e la mancanza di un metodo chiaro per stimare i costi (utilizzo dei token, ecc.) che ci impedisce di ottenere l’approvazione del budget per iniziare a utilizzare i nuovi strumenti.
Mi piacerebbe iniziare a usarne alcuni, in particolare il reporting dell’analisi del sentiment. C’è un divario significativo tra la consapevolezza degli strumenti e la loro implementazione, tuttavia.
Ci sono anche preoccupazioni periferiche riguardo all’introduzione di ancora più contenuti GenAI nella nostra community: è l’argomento più critico che colpisce i membri della nostra community e i loro mezzi di sussistenza. Vediamo anche un gran numero di nuovi account del forum che pubblicano evidenti riassunti AI delle discussioni (e alcuni tentativi piuttosto inaccurati di “rispondere” a domande da post esistenti), quindi i nostri utenti hanno già la sensazione che l’elemento umano della community venga soffocato dagli strumenti AI, piuttosto che essere supportato o aumentato da essi.
Vedo molti commenti incentrati sui contenuti generati dall’IA. Parlando a nome della nostra community aziendale, vorrei vedere continui investimenti nel lato amministrativo di Discourse AI. Ovvero, strumenti focalizzati sull’aiutarci a dimostrare il valore della nostra community ai nostri team di leadership. Grazie alla nostra categorizzazione e al tagging (relativamente) puliti, abbiamo utilizzato Discourse AI con successo nelle nostre revisioni aziendali trimestrali per mostrare cose come: “ecco il sentiment di questo sottoinsieme di utenti, in queste categorie, che discutono di questo prodotto, nel tempo”.
Graficare ciò e mostrare alla nostra organizzazione una visione più quantificabile del valore della community vedendo un indicatore di tendenza come questo ha ottenuto una risposta incredibile e continui investimenti. Sarebbe fantastico avere di più, e ci permetterebbe di approfondire.
Riguardo al bot IA, ci piacerebbe vedere maggiore personalizzazione nella capacità di intermediare l’esperienza del bot IA. Abbiamo requisiti rigorosi su come possiamo approcciare l’invio di dati utente ai servizi IA, e come tali abbiamo costruito il nostro servizio AWS lambda tra Discourse e AWS Bedrock. La capacità di specificare l’endpoint con cui funziona il bot, insieme alla documentazione sul modello oggetto, ci permetterebbe di realizzare appieno il bot IA esistente nella nostra community. Per ora, abbiamo costruito la nostra esperienza bot utilizzando messaggi privati e webhook per simulare un’esperienza di scatola per ora.
Qualsiasi cosa tu possa fare per portare l’IA maggiormente all’amministrazione e alla moderazione di Discourse sarebbe il miglior investimento, dalla nostra prospettiva. Dobbiamo costruire e supportare questa community in modo scalabile per il business, e credo che ci siano molte opportunità attorno a Discourse che utilizzano l’IA per abilitare ciò.
È un peccato enorme non avere i “topic correlati” abilitati sul tuo sito e questo è fornito al 100% da noi (ed è già incluso in tutti i piani), quindi non ci sono preoccupazioni sui dati, sui token o sui prezzi.
Allo stesso modo, ospitiamo noi stessi i modelli di sentiment e saremmo felici di esplorarli con te. Rimango un po’ scettico riguardo al sentiment perché sto cercando di capire quali specifici problemi di esempio risolve.
Stiamo anche esplorando l’esecuzione di modelli open source sul nostro hardware, llama 3 è sorprendentemente capace. È possibile che a lungo termine saremo in grado di alimentare funzionalità come i riassunti con i nostri modelli, specialmente se riusciremo a farli fare con sicurezza dai modelli 7B.
Capisco le tue preoccupazioni sui budget, Discourse AI monitora già l’utilizzo dei token per persona, intendiamo aggiungere quote al plugin.
Questo è molto presente nella nostra roadmap, ci stiamo lavorando proprio ora, la capacità di puntare a un URL e specificare il “dialetto” che parla.
) con riassunti giornalieri ecc., affermo che richiede troppo lavoro che in realtà non aumenta le entrate, non importa se conteggiato in dollari o felicità. Non sta diminuendo il carico di lavoro di amministratori e sviluppatori, lo aumenta.