Ciao! Lieto di aiutarti 
A partire da oggi, ecco i costi dal più basso al più alto, per 1 milione di token:
Gemini 1.5 Flash
Input: $0,075
Output: $0,30
Claude 3.5 Haiku
Input: $0,80
Output: $4,00
Claude 3.5 Sonnet
Input: $3,00
Output: $15,00
GPT-4o
Input: $2,50
Output: $10,00
DeepSeek-R1
Input: $0,55
Output: $2,19
I prezzi dei token qui non tengono conto del prompt caching che può ridurre drasticamente i costi. Inoltre, la community AI sembra riportare costantemente che Claude 3.5 Sonnet produce codice migliore rispetto ai modelli OpenAI, anche se penso che la loro qualità vada spesso avanti e indietro.
Tuttavia, DeepSeek-R1 è il chiaro vincitore qui poiché non è solo il miglior rapporto qualità-prezzo, ma il migliore in generale. Anche la Chatbot Arena Leaderboard lo conferma, poiché si posiziona più in alto di o1:
Ieri DeepSeek è stato vittima di un pesante attacco informatico che probabilmente ha causato il malfunzionamento della loro API, ma l’ho testata di nuovo e ora funziona. Ho aperto un argomento anche su quel problema
Per quanto riguarda la privacy, DeepSeek afferma chiaramente nella sua policy che i dati vengono archiviati in Cina (rompendo completamente la legge UE, ad esempio), e non è un segreto che il PCC abbia accesso a tutti i dati aziendali in Cina. Ma se si tratta solo di dati pubblici, a chi importa davvero, dato che il tuo sito potrebbe teoricamente essere raschiato/estratto comunque.
Fortunatamente questo modello è completamente open source e i fornitori di LLM ne sono consapevoli. Ad esempio, fireworks.ai fornisce già questo modello, anche se secondo me stanno speculando sul prezzo, a $8,00 input / $8,00 output. Quindi l’API DeepSeek è certamente economica.
Nella mia community, uso GPT-4o-mini con RAG (è costretto a leggere un argomento pertinente prima di rispondere per fornire una risposta più fattuale/utile) e un rigoroso prompt engineering. Non mi ha mai deluso ed è molto economico a $0,15 input / $0,60 output. Tuttavia, non mi fiderei molto per la programmazione: quella è certamente meglio lasciarla a o1-mini o DeepSeek-R1. Di solito da 1/3 a 1/2 di tutti i token utilizzati nella mia community vengono memorizzati nella cache (cosa che puoi vedere in /admin/plugins/discourse-ai/ai-usage), il che riduce ulteriormente i miei costi poiché i token memorizzati nella cache costano il 50% in meno.
Quindi, se la mia community utilizza 2 milioni di token di input e 100.000 token di output ogni giorno, i miei costi approssimativi sono:
Costo di input giornaliero: ~$0,22
Costo di output giornaliero: ~$0,06
…moltiplicato per 30 giorni = ~$6,60 di input e ~$1,8 di output = $8,40 al mese.
Non sono nemmeno soldi per il pranzo.