La prossima settimana spiegherò l’integrazione di Discourse AI al Team. Abbiamo già alcune chiavi API, MA sono tutte per account a PAGAMENTO.
Sono sicuro che mi verrà chiesto: Ci sono funzionalità che possono essere integrate e utilizzate GRATUITAMENTE? Questo è per una scuola e siamo sicuri che gli studenti potrebbero voler usare tutto, ma i costi sarebbero esorbitanti.
Grazie
No. Non è gratuito.
In realtà, llama3 è gratuito, ma per quanto ne so, ci vuole un computer da $300.000 per farlo funzionare.
Se hai un budget, potresti impostarlo in modo da pagare quella cifra mensilmente a qualunque servizio tu voglia pagare e quando viene esaurito per il mese, è esaurito per il mese. Cercheresti di impostare dei limiti in modo che non accada la prima settimana (o il primo giorno). Sarebbe complicato impostarlo in modo che gli insegnanti che volessero usarlo come parte della lezione potessero contarci.
Come scuola, forse potete registrarvi per crediti educativi gratuiti su servizi come AWS, Azure o GCP e utilizzarli per alimentare le funzionalità di Discourse AI.
Grazie, è quello che avevo in programma di dire loro. Non è gratuito. Il piano per ora è continuare a utilizzare istanze locali di Gpt4All e LmStudio
Per quel che vale, puoi eseguire la versione 70b di Llama3 con 48 GB di VRAM, che puoi reperire relativamente facilmente da una coppia di Nvidia RTX 3090 usate su eBay per circa 750 dollari ciascuna. Costruire il resto di un sistema per supportarlo costerebbe all’incirca 3000 dollari, mi aspetto. 
È un miglioramento di 100 volte! Posso immaginare una scuola che abbia così tanti soldi, ma ho una bella immaginazione.
Grazie mille per questo. Per lo più non capisco i requisiti hardware.
Puoi vederla in un modo diverso.
Perché non sperimentare l’uso dell’IA e monitorare i cruscotti dei costi per un mese? Poi decidi se vuoi continuare.
Solo negli ultimi 12 mesi il costo dei modelli capaci è diminuito MOLTO.
gpt4o-mini di OpenAI è molto capace e molto economico ora (ma è tutto relativo.)
Beh, la Mini mi ha deluso ogni volta. Ma questo merita un altro argomento altrove.
Sì, potrebbe dipendere anche dalla lingua.
Gemini Flash è molto economico e DeepSeek API è così economico che è quasi gratuito.
Se hai bisogno di eseguire localmente, puoi costruire una macchina per meno di $1000 che può eseguire modelli Llama. Ho costruito una macchina 4xP100 per $1000 che ha 64 GB di VRAM. Ma una macchina 2xP40 con 48 GB di VRAM sarebbe sufficiente per eseguire Llama 70B e può essere costruita per $600 se acquisti parti di seconda mano.
Per il massimo risparmio, potresti eseguire su una singola GPU P40 con quantizzazione AQLM, ma sarebbe piuttosto lenta (~1 tok/s).
Non hanno soldi
Interessante che nessuno tenga conto dei costi dell’elettricità per tutte queste soluzioni di self-hosting. Immagino che questa sia una fattura consolidata che comunque non è riconducibile a una macchina specifica…
Hai appena toccato un argomento che un amico che lavora per una compagnia di servizi pubblici ha menzionato l’altro giorno come conseguenza del lavoro da remoto. Le unità di aria condizionata/riscaldamento ora funzionano a ciclo continuo perché la gente deve usarle senza sosta. Il risultato sono state bollette energetiche astronomiche per molti.
Nota, i piani ospitati da Discourse includono argomenti correlati inclusi nel piano. Questo è alimentato da embedding AI.
Alcuni provider come Cloudflare offrono un livello gratuito con una generosa quantità di utilizzo per gli auto-hoster.
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.