ti scrivo per chiedere informazioni sulla funzionalità dei contenuti correlati su Discourse. Ho notato che si basa su un’intelligenza artificiale esterna. Perché è stato scelto questo approccio rispetto allo sviluppo di un sistema interno basato su tag o categorie che potrebbe offrire direttamente contenuti pertinenti? Ho visto un’opzione per suggerire argomenti della stessa categoria ma niente per i tag.
Esiste un plugin o un componente ufficiale di Discourse che fornisce questa funzionalità? Vorrei ringraziarti per il tuo lavoro quotidiano e per la costante innovazione che porti alla piattaforma.
Nota: Non sono un dipendente di Discourse né un dipendente di OpenAI, ma un moderatore di categoria sul forum di OpenAI (creatori di ChatGPT e GPT 4) e ho utilizzato molte delle funzionalità di Discourse AI anche durante lo sviluppo.
I mezzi che noti sono ricerche sintattiche, questa è ricerca semantica e utilizza embedding invece di parole chiave.
Una ricerca su Google per come funziona la ricerca semantica rivela molti articoli, eccone uno che penso molti qui apprezzeranno
Per quanto riguarda l’uso di risorse esterne, puoi eseguire il tuo LLM localmente, se vuoi?:
Ma l’hai fatto per un progetto?
Richiede di possedere o noleggiare hardware particolarmente impressionante!
Prova tu stesso i modelli linguistici più piccoli (che potresti considerare di ospitare) e vedi quanto ne rimani colpito:
La tua esperienza può variare, ma secondo me dovresti considerare l’hosting di un modello con almeno 70 miliardi di parametri, che sarà piuttosto costoso da ospitare autonomamente.
Come riferimento, si dice che GPT 3.5 sia un modello da 175 miliardi di parametri e GPT 4 ne abbia quasi 2 trilioni (dicono)
Ho scritto questo plugin:
E ha una funzione di tagging AI. Nella mia esperienza, hai bisogno di GPT 4 Turbo per farlo funzionare bene (e funziona davvero bene allora!)
Se intendessi ospitare autonomamente qualcosa di potente come quelli, avresti bisogno di tasche molto profonde.
Questo è il motivo per cui l’uso di un’API LLM esterna è ancora un’opzione interessante, pagabile a consumo, soprattutto perché paghi solo per le chiamate che effettui, non per un’infrastruttura costosa che passa del tempo a girare a vuoto inutilizzata.
Naturalmente, se la privacy è una preoccupazione importante e sufficiente, ciò potrebbe cambiare i calcoli.
@EricGT@merefield Grazie per la vostra pronta risposta e per le informazioni fornite. Capisco e apprezzo l’innovazione che l’IA porta alla piattaforma Discourse. Tuttavia, sono preoccupato per i rigorosi requisiti di protezione dei dati in Europa, specialmente in Francia con il GDPR. Consultare un avvocato per garantire la conformità alla nostra politica sulla privacy potrebbe essere piuttosto costoso.
Ecco perché mi chiedevo se fosse disponibile un plugin Discourse che offra funzionalità di contenuti correlati senza la necessità di IA esterna.
Inoltre, vorrei condividere con voi la mia esperienza personale: ho a lungo esitato a lanciare il mio forum Discourse, temendo di non fare le cose nel modo giusto nonostante le guide disponibili. L’avvento di ChatGPT ha cambiato le regole del gioco per me. È incredibile come abbia cambiato la mia vita: con il suo aiuto, sono stato in grado di intraprendere progetti che in precedenza non avrei osato. È una rivoluzione che mi apre nuove prospettive e mi permette di andare avanti con fiducia.
Grazie ancora per tutto il lavoro che fate e per il vostro continuo supporto.
Come accennato, i plugin AI possono utilizzare servizi esterni o puoi creare il tuo sistema cloud personale che esegue le stesse attività. Tuttavia, eseguire il proprio servizio AI è costoso, richiede manutenzione aggiuntiva e non fornisce risultati comparabili ai servizi esterni.
Questa è tutta una limitazione della tecnologia AI stessa, che è così difficile da mantenere ed eseguire, non c’è nulla che Discourse possa fare al riguardo. I plugin Discourse sono agnostici riguardo al fatto che tu stia utilizzando un servizio esterno o uno “interno”.
