DeepSeek ha appena rilasciato il suo modello di ragionamento open source “R1” (insieme a un’API) che è alla pari con l’o1 di OpenAI ma ha un costo simile a GPT-4o-mini. È davvero sorprendente e utile, soprattutto per il costo, ma attualmente non è supportato nella pagina di configurazione LLM. 
2 Mi Piace
8 Mi Piace
omfg perché non ci ho pensato… grazie amico 
Ho ottenuto un’API e mi sono connesso come descritto da @Falco, ho modificato un prompt e ho ottenuto risposte fantastiche. Davvero eccezionale. Purtroppo ho poi letto la loro privacy e i termini di servizio e utilizzano, condividono e possiedono tutto ciò che fai. Con sede in Cina. Purtroppo, per quanto meraviglioso sia, non credo di poterlo utilizzare nella community per motivi di privacy.
Avete suggerimenti per modelli open source che possono essere utilizzati in Discourse con chiave API. Gpt4o e mini sono entrambi ottimi, ma questi modelli di ragionamento sono davvero allettanti.
5 Mi Piace
Questo è un buon punto. Fortunatamente R1 è completamente open source e sarà solo questione di tempo prima che qualcuno lo ri-ottimizzi per de-cinesizzarlo, eliminando i filtri/censori/ecc. Poi sospetto che sarà un modello importante su vari provider cloud (bedrock, groq, ecc.). Per ora non c’è nessun altro modello che gli si avvicini oltre a o1. Anzi, R1 è persino leggermente migliore sotto alcuni aspetti secondo i benchmark.
3 Mi Piace
@MachineScholar grazie per aver aperto questo argomento e anche per la tua valutazione. Sono un po’ sopraffatto da questo nuovo mondo dell’IA. Sto supervisionando uno stagista che sta implementando e analizzando i costi dell’IA per noi. Puoi darmi una visione approssimativa e semplice della differenza di costo?
Al momento, stiamo utilizzando questi LLM:
- Claude 3.5 Haiku
- Claude 3.5 Sonnet
- Gemini 1.5 Flash
- GPT-4 Omni
Sto prendendo in considerazione l’implementazione di DeepSeek R1 perché un altro stagista oggi ne parlava molto bene rispetto a GPT-o4 e o1 per specifici compiti di programmazione.
Entrambi gli stagisti sono informatici e giovani, quindi non manca l’entusiasmo per le nuove tecnologie. 
Inoltre, se il mio forum Discourse ha dati pubblici, devo preoccuparmi dei termini di utilizzo della privacy di DeepSeek? Immagino che, se è valido e mi fa risparmiare denaro, perché non utilizzarlo? Ma, ovviamente, non voglio danneggiare la community.
Ciao! Lieto di aiutarti
A partire da oggi, ecco i costi dal più basso al più alto, per 1 milione di token:
Gemini 1.5 Flash
Input: $0,075
Output: $0,30
Claude 3.5 Haiku
Input: $0,80
Output: $4,00
Claude 3.5 Sonnet
Input: $3,00
Output: $15,00
GPT-4o
Input: $2,50
Output: $10,00
DeepSeek-R1
Input: $0,55
Output: $2,19
I prezzi dei token qui non tengono conto del prompt caching che può ridurre drasticamente i costi. Inoltre, la community AI sembra riportare costantemente che Claude 3.5 Sonnet produce codice migliore rispetto ai modelli OpenAI, anche se penso che la loro qualità vada spesso avanti e indietro.
Tuttavia, DeepSeek-R1 è il chiaro vincitore qui poiché non è solo il miglior rapporto qualità-prezzo, ma il migliore in generale. Anche la Chatbot Arena Leaderboard lo conferma, poiché si posiziona più in alto di o1:
Ieri DeepSeek è stato vittima di un pesante attacco informatico che probabilmente ha causato il malfunzionamento della loro API, ma l’ho testata di nuovo e ora funziona. Ho aperto un argomento anche su quel problema
Per quanto riguarda la privacy, DeepSeek afferma chiaramente nella sua policy che i dati vengono archiviati in Cina (rompendo completamente la legge UE, ad esempio), e non è un segreto che il PCC abbia accesso a tutti i dati aziendali in Cina. Ma se si tratta solo di dati pubblici, a chi importa davvero, dato che il tuo sito potrebbe teoricamente essere raschiato/estratto comunque.
Fortunatamente questo modello è completamente open source e i fornitori di LLM ne sono consapevoli. Ad esempio, fireworks.ai fornisce già questo modello, anche se secondo me stanno speculando sul prezzo, a $8,00 input / $8,00 output. Quindi l’API DeepSeek è certamente economica.
Nella mia community, uso GPT-4o-mini con RAG (è costretto a leggere un argomento pertinente prima di rispondere per fornire una risposta più fattuale/utile) e un rigoroso prompt engineering. Non mi ha mai deluso ed è molto economico a $0,15 input / $0,60 output. Tuttavia, non mi fiderei molto per la programmazione: quella è certamente meglio lasciarla a o1-mini o DeepSeek-R1. Di solito da 1/3 a 1/2 di tutti i token utilizzati nella mia community vengono memorizzati nella cache (cosa che puoi vedere in /admin/plugins/discourse-ai/ai-usage), il che riduce ulteriormente i miei costi poiché i token memorizzati nella cache costano il 50% in meno.
Quindi, se la mia community utilizza 2 milioni di token di input e 100.000 token di output ogni giorno, i miei costi approssimativi sono:
Costo di input giornaliero: ~$0,22
Costo di output giornaliero: ~$0,06
…moltiplicato per 30 giorni = ~$6,60 di input e ~$1,8 di output = $8,40 al mese.
Non sono nemmeno soldi per il pranzo.
4 Mi Piace
Questo è praticamente solo un altro meta-post, ma ho testato DeepSeek con una domanda sull’esercizio fisico e sulla perdita di peso. Ho ottenuto una risposta davvero pessima con tonnellate di allucinazioni. E questo è in linea con altre esperienze che ho sentito.
Quindi, il prezzo è solo una parte della storia. Ciò che si ottiene per quel prezzo è anche una parte importante.
1 Mi Piace
Ah sì, questo è un ottimo punto. L’ho dimenticato perché praticamente non uso mai gli LLM senza RAG o qualche altra forma di iniezione di informazioni quando cerco conoscenza/informazioni. R1 eccelle per me quando si tratta di fare brainstorming di idee con “pensiero critico”. Tutto ciò richiede comunque un’eccellente ingegneria dei prompt.
Per chiarire: R1 è stato addestrato fin dall’inizio con l’apprendimento per rinforzo orientato al ragionamento, quindi la sua semplice “recupero di informazioni” interna potrebbe produrre allucinazioni a causa di un “eccessivo pensiero”. Ma non ho ancora letto completamente il loro paper di ricerca, quindi prendi questo con le pinze poiché è solo la mia intuizione.
È anche vero che è facile fare il jailbreak di R1 
Ho anche ricevuto delle risposte incoerenti. Sono stato in grado di usarlo intenzionalmente per creare un paio di buoni esempi di addestramento che ho inserito in un file di testo RAG per qualcosa di specifico. Decisamente non è pronto per il grande pubblico. Speriamo che OpenAI rilasci un modello di ragionamento più conveniente che potremmo usare.
@MachineScholar Ti ringrazio molto per la tua analisi dei costi e per avermi aiutato a capirlo. Sono un po’ sopraffatto da tutte le nuove informazioni, ma i giovani stagisti informatici sembrano assorbire le informazioni come una spugna. Potrebbero pensare 8 volte più velocemente di me…
Ho uno stagista che lavora al plugin AI per due diverse community di Discourse. Stiamo pagando gli stagisti, ma sono economici e sicuramente entusiasti. Lo stagista che si occupa principalmente del lavoro sull’IA è in un programma di informatica dell’Università della California e spesso mi chiedo come siano le discussioni nel campus in un gruppo così giovane, dove il futuro è chiaramente il loro futuro da creare.
Mi chiedo anche com’è il tuo ambiente di ricerca? Sembri profondamente coinvolto nella tecnologia. Che bel momento per essere coinvolti. Così emozionante.
Probabilmente inizierò un nuovo argomento per la mia prossima domanda. Lo stagista sta implementando Google Custom Search e l’accesso ai token GitHub per il bot AI. Non sono sicuro di cosa siano. Tuttavia, spero che il bot AI possa accedere ai repository GitHub per esaminare la documentazione… Non sono sicuro di cosa sia possibile. Inoltre, non so se la Generazione Aumentata di Recupero (RAG) viene utilizzata nel plugin Discourse AI.
Per quanto riguarda l’efficacia di DeepSeek R1 rispetto a o1, un altro stagista mi parlava di usarlo per i suoi progetti di informatica utilizzando l’interfaccia utente dell’app Web (utilizzando ChatGPT Plus). Quindi, il test è stato super informale, ma l’entusiasmo per DeepSeek da parte di uno degli stagisti è stato grande.
Lo stagista che sta effettivamente lavorando all’implementazione dell’IA è stato molto più riservato sulle differenze tra gli LLM. Finora ha fornito principalmente tabelle di costi e utilizzo con commenti limitati sulle differenze di utilizzo. Renderemo tutti gli LLM disponibili alla community e chiederemo loro di valutare. Quindi, è intelligente da parte dello stagista mantenere bassa la propria opinione al momento.
Grazie ancora per il tuo aiuto nel mio percorso.
1 Mi Piace
Deepseek sta raggiungendo nel profondo tutto il mondo dell’IA, il business e le corporazioni.
Fanno di più con meno in ogni aspetto. Potete cercare le loro differenze tecniche, io ho trovato informazioni su Reddit usando un client locale perché non sono d’accordo con le loro politiche, ma potete trovarle lì.
Sono colpito dalla loro pazienza nel lavorare meglio senza miliardi tramite fondi di venture capital. OpenAI è molto costosa per molti paesi e non è di questo che internet o la nostra era digitale dovrebbero trattare.
Naturalmente, il PCC è direttamente coinvolto, ma oggi le leggi e i governi occidentali corrotti sono quasi gli stessi.
Il modello è censurato come OpenAI (Piazza Tienanmen o Gaza) ma offre prestazioni davvero buone a 1/10-20 del costo comune vecchio.
Penso che questo sia un bene per gli utenti e per la tecnologia. I vecchi servizi devono cambiare il loro approccio o lasciare che le persone scelgano.
1 Mi Piace
Sono molto felice di aver potuto aiutare!
Sì, al giorno d’oggi lavorare nell’informatica significa dover essere in grado di adattarsi e imparare estremamente rapidamente. A volte è piuttosto stancante, però. Immagino che i campus innovativi in California siano all’avanguardia. Ho familiarità con molti laboratori nelle università californiane dove viene condotta ricerca all’avanguardia sull’intelligenza e la cognizione.
Attualmente ho una mia azienda in cui sviluppo tecnologia educativa intelligente e lavoro anche in un piccolo laboratorio di IA dove stiamo tentando di costruire una proto-mente e poi trovarne un caso d’uso aziendale. Nel prossimo futuro avvierò il mio laboratorio di ricerca nella mia nicchia di ricerca, che sono i sistemi intelligenti per l’esplorazione spaziale. Il mondo dell’IA è tutto piuttosto eccitante, è vero, ma una parte di me a volte vorrebbe che tutto rallentasse in modo da non dover continuare a recuperare, ahah!
Google Custom Search e GitHub Token access consentiranno rispettivamente all’AI Bot di accedere a Google Search e GitHub (per cose di programmazione). Inoltre, il Discourse AI Bot esegue effettivamente RAG ogni volta che legge argomenti o post nel forum. Li legge, quindi utilizza quel testo come contesto aggiuntivo al fine di generare un testo più informato.
In effetti, è bene che i tuoi stagisti sappiano seguire le tendenze, tuttavia, sarebbe anche intelligente da parte loro ricordare che gli LLM sono sempre esagerati, perché fa bene al mercato. I grandi sviluppatori di LLM hanno un incentivo a esagerare tutto. Anche se, devo ammettere, questi sistemi stanno diventando sempre più impressionanti con il tempo.
@oppman Sentiti libero di inviarmi un messaggio privato in qualsiasi momento se hai bisogno di qualcosa! Siamo tutti sulla stessa barca!
2 Mi Piace
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.