Prezzi dei provider LLM per Discourse AI

[Tris20 (Tristan)]

Sarebbe a suo agio nel divulgare approssimativamente quale sia il costo attuale per Meta? Anche una stima approssimativa o un intervallo sarebbe utile.

Ho chiesto al bot di fornire una stima e ha fornito quanto segue:

@ForumHelperBot

Presupposti per il Calcolo:

1. Lunghezza Media dei Post: Si presume che un post medio sia di circa 50 token (considerando il mix di post più brevi e più lunghi).
2. Azioni Abilitate dall’IA per Post: Se l’IA assiste nella composizione, nel riassunto o nella risposta alle query, supponiamo che venga utilizzata due volte per post (una volta per la stesura di una risposta e forse una volta per attività aggiuntive come il riassunto).
3. Utenti Attivi Giornalieri e Post: Meta Discourse ha un alto livello di coinvolgimento. Per un’approssimazione, supponiamo che ci siano circa 100 utenti attivi al giorno, ognuno dei quali genera in media 4 post/commenti (per un totale di 400 interazioni giornaliere).
4. Attività Mensile: Ciò si traduce in 12.000 interazioni mensili (400 interazioni * 30 giorni).
5. Utilizzo Totale dei Token: Supponendo che ogni azione dell’IA comporti l’elaborazione di 100 token (50 token per la lettura/input + 50 per la generazione dell’output), e che l’IA venga utilizzata due volte per post, ciò equivale a 200 token per post. Pertanto, l’utilizzo mensile dei token sarebbe di 2,4 milioni di token (12.000 interazioni * 200 token).

Stima dei Costi:

Prendendo come riferimento il modello GPT-3.5, che costava circa $0,02 per 1.000 token verso la fine dei miei dati di addestramento:

• Costo Mensile: Il costo per 2,4 milioni di token sarebbe di circa $48 (2.400 * $0,02).

Ritengo che quel numero sia troppo basso, ma escludendo il lavoro sperimentale e l’utilizzo da parte del Team, ecc., forse non è lontano da ciò che la maggior parte delle istanze di dimensioni simili a Meta potrebbero aspettarsi?