Per utilizzare determinate funzionalità di Discourse AI, è necessario che gli utenti utilizzino un provider di Large Language Model (LLM). Si prega di consultare ciascuna funzionalità AI per determinare quali LLM sono compatibili.
Se il costo è una preoccupazione significativa, Discourse AI dispone di diversi strumenti integrati per aiutare a gestire la spesa:
- Dashboard di utilizzo AI — traccia il consumo di token per funzionalità, modello e utente con costi stimati
- Quote di utilizzo — imposta limiti per modello e per gruppo sulla quantità di token o sul numero di richieste all’interno di finestre temporali configurabili (orarie, giornaliere, settimanali)
- Allocazioni di crediti — imposta budget di credito complessivi per modello con limiti soft e hard
- Budget lato fornitore — imposta limiti di utilizzo direttamente dal fornitore come ulteriore salvaguardia
- Restrizioni di gruppo — consenti l’accesso alle funzionalità AI solo a utenti e gruppi selezionati
Ci sono diversi fattori variabili da considerare nel calcolo dei costi di utilizzo degli LLM
Una visione semplificata sarebbe…
- Modello LLM e prezzi → Identificare il modello LLM specifico che si intende utilizzare e trovare i dettagli dei prezzi più recenti per i token di input e output
- Token di input → La lunghezza media dei prompt di input in token
- Token di output → Le risposte del modello in token
Ora esaminiamo l’esempio di utilizzo del Bot AI qui su Meta
Sono state apportate molte semplificazioni durante questo calcolo, come l’utilizzo dei token, gli utenti che utilizzano il Bot AI e il numero medio di richieste. Questi numeri devono essere considerati solo come linee guida generali. Soprattutto perché facciamo molte sperimentazioni con il Bot AI
-
Usa la Dashboard di utilizzo AI integrata in
/admin/plugins/discourse-ai/ai-usageper rivedere l’utilizzo effettivo dei token di richiesta/risposta, suddiviso per funzionalità, modello e utente -
In media, i token di risposta erano da 3 a 5 volte più grandi dei token di richiesta [1](GPT-3.5 and GPT-4 API response time measurements - FYI - API - OpenAI Developer Community)]
-
Si assume un token di richiesta utente medio di 85, equivalente a <1 paragrafo [2]
-
Si assume un token di risposta medio di 85 x 4 = 340 token, l’equivalente di 3 paragrafi
-
Utilizzando GPT-5.4 mini di OpenAI, il costo per i token di input sarebbe di $0.75 / 1M token = $0.00000075 / token x 85 token = $0.000064 per l’input
-
Per i token di output sarebbe di $4.50 / 1M token = $0.0000045 / token x 340 token = $0.00153 per l’output
-
Il costo totale per richiesta è $0.000064 + $0.00153 = $0.0016
-
Durante febbraio 2024, circa 600 utenti stavano utilizzando il Bot AI, effettuando una media di 10 richieste per quel mese. Ora si supponga che questi numeri siano coerenti con la propria community
-
Ciò significherebbe che per febbraio il costo per il Bot AI sarebbe di $0.0016 x 600 utenti x 10 richieste = $9.56
-
Proiettando questo sul costo annuale di esecuzione del Bot AI, sarebbero $9.56 x 12 = $115 per l’anno per l’esecuzione di GPT-5.4 mini come LLM prescelto
Per costi ancora inferiori, considera modelli budget come GPT-5.4 nano ($0.20/$1.25 per 1M token), Gemini 2.5 Flash ($0.075/$0.30 per 1M token) o Claude Haiku 4.5 — che possono ridurre i costi di un ulteriore 75–95% rispetto all’esempio sopra. Controlla sempre i prezzi più recenti dal tuo fornitore poiché i costi continuano a diminuire.
Una stima basata sulla community di OpenAI e sulla nostra risposta al rapporto tra token di richiesta ↩︎
Osservando l’utilizzo medio dei token di richiesta dell’utente ho trovato numeri bassi come 20 fino a >100. Ho voluto sintetizzare che c’erano più richieste vicine a 100 e l’assunto è che tali richieste potrebbero essere più vicine a frasi complete e fare riferimento a prompt ben ponderati con molte domande poste al bot ↩︎