Discourse AI richiede il collegamento a un provider LLM: questo è un riferimento ai prezzi per le diverse opzioni.
Livello utente richiesto: Amministratore
Per utilizzare alcune funzionalità di Discourse AI, gli utenti devono utilizzare un provider di Large Language Model (LLM) di terze parti. Si prega di consultare ciascuna funzionalità AI per determinare quali LLM sono compatibili.
La seguente guida fornisce collegamenti ai prezzi dei diversi provider LLM.
Nota che i costi potrebbero variare in base a molteplici fattori come il numero di richieste, la lunghezza del testo, le risorse computazionali utilizzate, i modelli scelti e così via. Per i prezzi più aggiornati e accurati, controlla regolarmente con ciascun provider.
Esegui il tuo modello OSS simile a Llama2 con TGI: Il costo dell’esecuzione del tuo modello OSS simile a Llama2 con TGI dipenderebbe da vari fattori come i costi dell’infrastruttura, i costi associati al fine-tuning del modello e i costi di gestione e manutenzione del modello.
Questo non è assolutamente un confronto statisticamente acquisito, ma sulla base dei miei brevi test utilizzando OpenAI GPT-4, è tre volte più costoso di GPT-3.5 Turbo se si contano le chiamate API e quanti token sono stati utilizzati — e poiché i token utilizzati da GPT-4 sono più costosi in termini di denaro, la differenza è molto maggiore.
E non ho ottenuto alcun beneficio con GPT-4 rispetto a 3.5 Turbo.
E come avvertenza: ho usato il finlandese, quindi l’inglese potrebbe essere una cosa diversa. Inoltre, qualsiasi IA è totalmente inutile nell’uso della chat quando si usa il finlandese, ma quella è una cosa completamente diversa — ma significa, dal mio punto di vista, che tutti i chatbot sono solo uno spreco di denaro quando si usano lingue piccole.
I costi qui sono stimati e si concorda sul fatto che i costi possono variare in modo piuttosto drastico in base all’utilizzo!
È importante notare che per molte attività di base, la differenza tra i modelli GPT-4 e GPT-3.5 potrebbe non essere significativa. Tuttavia, GPT-4 presenta alcune differenze comprovate in termini di capacità, comprensione creativa e input grezzo.
Concordo anche sul fatto che per le lingue non popolari, le capacità del modello lasciano molto a desiderare.
Penso che stiamo parlando della stessa cosa, ma per stare sul sicuro : questo è un problema delle aziende di intelligenza artificiale e tu, io o qualsiasi sviluppatore non possiamo cambiare questo fatto.
Ma io sto cercando qualcosa come se tutti dovremmo seguire un po’ quanto stiamo spendendo (se non stiamo usando soldi da un altro budget che non sia dalle nostre tasche ) e cercare di trovare un equilibrio tra utilità molto soggettiva e denaro.
E no, non so di cosa sto parlando. Principalmente perché le risposte di tutti i chatbot si basano fondamentalmente solo sul ronzio inglese di milioni di mosche (quantità sulla qualità). La situazione può cambiare - in meglio o in peggio, dipende - se abbiamo strumenti migliori per educare l’IA su quali fonti può utilizzare. Certo, li abbiamo, ma costerà molto di più del prezzo dei token.
E sì, questo è il mal di testa dei piccoli attori.
Mi chiedo… c’è la possibilità di ottenere un migliore equilibrio costo/accuratezza con un editing del prompt più libero?
Sarebbe a suo agio nel divulgare approssimativamente quale sia il costo attuale per Meta? Anche una stima approssimativa o un intervallo sarebbe utile.
Ho chiesto al bot di fornire una stima e ha fornito quanto segue:
Ritengo che quel numero sia troppo basso, ma escludendo il lavoro sperimentale e l’utilizzo da parte del Team, ecc., forse non è lontano da ciò che la maggior parte delle istanze di dimensioni simili a Meta potrebbero aspettarsi?
Il prezzo del token menzionato dal bot non è accurato. I prezzi attuali per gpt-3.5-turbo-0125 sono $0,50 per 1 milione di token di input e $1,50 per 1 milione di token di output. Supponendo metà input e metà output, 2,4 milioni di token dovrebbero costare solo $2,40. gpt-4 costa $30/m input e $60/m output, il che si tradurrebbe in $108 per 2,4 milioni di token.
Ho aggiornato l’OP per includere solo i link, concordo sul fatto che i prezzi cambiano continuamente ed è meglio ottenere le informazioni più aggiornate.
Con la crescente gamma di provider e LLM, è meglio che gli utenti verifichino direttamente con il provider. Pertanto, stiamo rimuovendo questo argomento.
Discourse AI richiede il collegamento a un provider LLM: questo è un riferimento ai prezzi per le diverse opzioni.
Livello utente richiesto: Amministratore
Nota che i costi potrebbero variare in base a molteplici fattori come il numero di richieste, la lunghezza del testo, le risorse computazionali utilizzate, i modelli scelti e così via. Per i prezzi più aggiornati e accurati, controlla regolarmente con ciascun provider.
: questo è un problema delle aziende di intelligenza artificiale e tu, io o qualsiasi sviluppatore non possiamo cambiare questo fatto.