Per utilizzare alcune funzionalità di Discourse AI, gli utenti devono utilizzare un provider di modelli linguistici di grandi dimensioni (LLM). Fare riferimento a ciascuna funzionalità AI per determinare quali LLM sono compatibili.
Se il costo è una preoccupazione significativa, un modo per combatterlo è impostare limiti di utilizzo direttamente dal provider e utilizzare un budget mensile. Un’altra opzione è consentire solo a utenti e gruppi selezionati di accedere alle funzionalità AI.
Ci sono diversi fattori variabili da considerare quando si calcolano i costi di utilizzo degli LLM.
Una visione semplificata sarebbe…
- Modello LLM e prezzi → Identificare il modello LLM specifico che si intende utilizzare e trovare i dettagli sui prezzi più recenti per i token di input e output.
- Token di input → La lunghezza media dei prompt di input in token.
- Token di output → Le risposte del modello in token.
Ora analizziamo l’esempio di utilizzo dell’AI Bot qui su Meta.
Sono state apportate molte semplificazioni durante questo calcolo, come l’utilizzo dei token, gli utenti che utilizzano l’AI Bot e il numero medio di richieste. Questi numeri dovrebbero essere presi solo come linee guida generali. Soprattutto perché facciamo un sacco di sperimentazione con l’AI Bot.
-
Utilizzo di Data Explorer per comprendere i token medi di richiesta/risposta e tutti gli altri dati qui.
-
In media, i token di risposta erano da 3 a 5 volte più grandi dei token di richiesta [1].
-
Si assume un token di richiesta utente medio di 85, equivalente a meno di un paragrafo [2].
-
Si assume un token di risposta medio di 85 x 4 = 340 token, pari a 3 paragrafi.
-
Utilizzando GPT-4 Turbo di OpenAI, il costo per i token di input sarebbe di $10 / 1 milione di token = $0,00001 / token x 85 token = $0,00085 per l’input.
-
Per i token di output sarebbe di $30,00 / 1 milione di token = $0,00003 / token x 340 token = $0,0102 per l’output.
-
Il costo totale per richiesta è $0,00085 + $0,0102 = $0,01105.
-
Durante febbraio 2024, circa 600 utenti utilizzavano l’AI Bot, effettuando in media 10 richieste per quel mese. Ora si supponga che questi numeri siano coerenti con la tua community.
-
Ciò significherebbe che per febbraio il costo dell’AI Bot sarebbe di $0,01105 x 600 utenti x 10 richieste = $66.
-
Proiettando questo su un costo annuale di esecuzione dell’AI Bot, sarebbero $66 x 12 = $792 per l’anno per l’esecuzione di GPT-4 Turbo come LLM di tua scelta.
Ora con GPT-4o puoi dimezzare ulteriormente quel costo finale!
Una stima basata sul community di OpenAI e sulla nostra risposta al rapporto token di richiesta ↩︎
Quante parole sono 85 token? Mentre analizzavo l’utilizzo medio dei token di richiesta dell’utente, ho trovato numeri bassi come 20 fino a oltre 100. Volevo racchiudere il fatto che ci fossero più richieste vicine a 100 e l’assunzione è che tali richieste potrebbero essere più vicine a frasi complete e riferirsi a prompt ben ponderati con molte domande poste al bot ↩︎