Dato che questo è riemerso:
-
Lo sto usando, ma sto tenendo d’occhio i costi. La mia più grande preoccupazione è l’uso incontrollato dei token, almeno finché non potrò eseguire le cose abbastanza a lungo da farmi un’idea di quale dovrebbe essere il mio utilizzo medio di token. La possibilità di impostare limiti di costo è buona, ma non mi sentirò personalmente a mio agio finché non saprò qual è l’utilizzo medio della community, e questo richiede solo tempo.
-
I problemi di fiducia degli utenti sono enormi. Non importa quale messaggio preparo o cosa dico come amministratore del sito: c’è una percezione incrollabile che gli LLM utilizzino contenuti generati dagli utenti per l’addestramento e che qualsiasi utilizzo da parte del sistema Discourse significhi “vendere” dati utente senza “permesso”. Questo è un problema che, a mio parere, è sistemico tra molti commentatori ed è impossibile da scuotere, perché la gente “sa” cosa stanno “facendo veramente” le aziende di IA. Abilitare il triage basato sull’IA su un forum e dire che lo stai facendo significa potenzialmente affrontare un’ondata di lamentele del tipo “NON CONSENTO CHE TU INVii I MIEI DATI A QUALCHE AZIENDA DI TECHBRO DELL’IA PER FARLI GUADAGNARE CON LE MIE PAROLE!”. Non tutti sono preoccupati da questo tipo di cose, ma coloro che lo sono, sono incazzati mentre allo stesso tempo sono totalmente disinteressati alla discussione. Non ho una buona risposta qui.
-
Sono un po’ a disagio nel porre lo stato del rilevamento dello spam del mio forum su come una dozzina di modelli di diverse aziende si sentono in un dato momento. Siamo onesti qui: il rilevamento dello spam AI, il triage AI e tutte le altre funzionalità AI sono fondamentalmente dire “Ehi, facciamo in modo che questo sia un problema dell’IA” e poi cerchiamo di codificare ciò che vogliamo che faccia tramite l’ingegneria dei prompt. Funziona, ma il processo è fastidiosamente non deterministico. In pratica devi solo sperare che le cose continuino a funzionare come stanno funzionando. Non mi piace. Non mi piace affatto, e mi provoca ansia. Mi piace che i miei strumenti siano adeguatamente deterministici. Gli LLM sono l’esatto opposto polare del determinismo, e stiamo basando una parte della funzionalità del forum su qualunque cosa OpenAI et al decidano di lanciarci addosso.
Detto questo, sto usando sia l’antispam AI che il triage del forum AI. È utile. Ma cerco di rimanere consapevole del fatto che queste soluzioni devono essere continuamente monitorate per l’efficacia.