Per quanto riguarda l’uso di risorse esterne, puoi eseguire il tuo LLM localmente, se vuoi?:
Ma l’hai fatto per un progetto?
Richiede di possedere o noleggiare hardware particolarmente impressionante!
Prova tu stesso i modelli linguistici più piccoli (che potresti considerare di ospitare) e vedi quanto ne rimani colpito:
La tua esperienza può variare, ma secondo me dovresti considerare l’hosting di un modello con almeno 70 miliardi di parametri, che sarà piuttosto costoso da ospitare autonomamente.
Come riferimento, si dice che GPT 3.5 sia un modello da 175 miliardi di parametri e GPT 4 ne abbia quasi 2 trilioni (dicono) 
Ho scritto questo plugin:
E ha una funzione di tagging AI. Nella mia esperienza, hai bisogno di GPT 4 Turbo per farlo funzionare bene (e funziona davvero bene allora!)
Se intendessi ospitare autonomamente qualcosa di potente come quelli, avresti bisogno di tasche molto profonde.
Questo è il motivo per cui l’uso di un’API LLM esterna è ancora un’opzione interessante, pagabile a consumo, soprattutto perché paghi solo per le chiamate che effettui, non per un’infrastruttura costosa che passa del tempo a girare a vuoto inutilizzata.
Naturalmente, se la privacy è una preoccupazione importante e sufficiente, ciò potrebbe cambiare i calcoli.