Ho fatto alcuni calcoli e sono giunto alla conclusione che senza la possibilità di limitare l’input e l’output di token mensili o giornalieri di un utente, ci si può facilmente cacciare nei guai. Attualmente, l’unico modo per limitare l’interazione di un utente con un bot AI è consentire ai bot AI solo in PM (disabilitando la chat per ogni persona) e impostare un limite di PM giornalieri consentiti, ma ovviamente questo non è realistico. Ecco un esempio di ripartizione dei costi in uno “scenario peggiore” che giustifica la necessità di questa funzionalità, utilizzando l’approccio che OpenAI adotta per i suoi membri di chatGPT:
GPT-4o mini con 32k di contesto (P.S. la lunghezza del contesto è impostata utilizzando l’impostazione “Numero di token per il prompt” nella pagina delle impostazioni LLM)
Costo attuale: $0,15 1M input / $0,60 1M output
Supponiamo che l’utente inserisca 32k e produca 16k ogni giorno per 30 giorni (un ciclo di fatturazione per un abbonamento tipico):
Costo dell’input mensile = 960.000 token = ~$0,14
Costo dell’output mensile = 480.000 token = ~$0,28
Ok, in realtà non è male, vero? Meno di mezzo dollaro. Tuttavia, questo è in realtà un utilizzo piuttosto basso, soprattutto considerando che GPT-4o mini può generare fino a 16,4k token in un singolo colpo (anche se sì, ovviamente puoi progettare il prompt e le impostazioni LLM per evitarlo). Puoi iniziare a moltiplicare quei costi per quanto pensi che i tuoi utenti utilizzerebbero il bot AI. La parte peggiore è che questo è un modello incredibilmente economico; i costi sono esponenzialmente più alti per Claude 3.5 Sonnet ($3 1M input / $15 1M output) e GPT-4o ($5 1M input / $15 1M output) - e non parliamo nemmeno di GPT-4 Turbo lol. Ecco la stessa ripartizione per Claude 3.5 Sonnet:
Claude 3.5 Sonnet con 32k di contesto
Costo dell’input mensile = ~$2,88
Costo dell’output mensile = ~$7,20
Totale = ~$10,08
Ma di nuovo; questo è un utilizzo basso. Diventa quindi chiaro quanto possa diventare costoso avere un uso illimitato di LLM nei bot AI. Se moltiplichi questo per 2, dovresti addebitare un abbonamento di $25 per ottenere un profitto di poco meno di $5 
Ecco cosa propongo formalmente:
- Un’impostazione che consenta una specifica quantità di input e output di token per un gruppo di utenti specificato ogni mese o giorno per i bot AI.
- Questo utilizzo dei token NON includerebbe il prompt di sistema per le persone.
- I limiti di token possono essere per LLM, per persona o universali/complessivi.
- In alternativa al punto 1, si potrebbe utilizzare un semplice limite intero per l’utilizzo di bot AI in DM e PM. Esempio: limite di 100 DM a qualsiasi persona al giorno.
- Un’impostazione che consenta una specifica quantità di output di token per un gruppo di utenti specificato ogni mese o giorno per l’assistente AI.
- L’input di token può non essere conteggiato poiché sarebbe impraticabile aspettarsi che l’utente indovini quanti token ha un argomento lungo quando, ad esempio, genera un riassunto.
- Potrebbe anche essere saggio imporre un limite intero rigido alla lunghezza (in parole in modo che TikToken non debba essere utilizzato qui) per i prompt personalizzati in modo che gli utenti non tentino di aggirare i loro limiti mensili/giornalieri utilizzando il Composer come un chatbot illimitato
- Un contatore di token nel profilo dell’utente e forse anche nei suoi PM e DM. Sarebbe bello se ci fosse un piccolo testo accanto a ogni messaggio dell’utente e dell’AI che visualizza il numero di token che è (non vogliamo necessariamente consentire a tutti la funzione di debug, e questa funziona solo nei PM).
- Un contatore di token separato per l’assistente AI (per aiutare a mantenere separate queste due funzionalità) che condivide un conteggio tra spiegazione, correzione, prompt personalizzato, ecc…
Nota a margine: non sto criticando questa funzionalità né gli sviluppatori in alcun modo e mi scuso se una parte di ciò dovesse sembrare tale. Onestamente, il plugin Discourse AI è una delle mie tecnologie preferite di tutti i tempi. In realtà, mi sta permettendo di costruire il mio business da sogno come ricercatore ed educatore AI senza dover assumere ingegneri aggiuntivi e pagare per infrastrutture aggiuntive: posso configurare tutto da solo 
. Penso semplicemente che questa funzionalità sia l’ultimo tassello del puzzle non solo per me, ma per numerosi altri utenti Discourse che vogliono consentire ai propri utenti di godere di questa meravigliosa tecnologia con moderazione.
Forse sei ospitato e non hai accesso al mio plugin?
. E sono su un droplet, quindi non è quello il problema.
Piuttosto, il problema è da parte mia; sto cercando di fare qualcosa di piuttosto di nicchia.
. La mia opinione è che la tua implementazione qui sia la più ideale. La mia community e io apprezziamo davvero il lavoro svolto qui 
I limiti dei token saranno collegati agli abbonamenti? Sarebbe fantastico se potessimo controllare l’utilizzo e consentire l’uso di modelli più costosi a pagamento.