È possibile aggiungere una chiave API da un LLM che non è tra quelli elencati?
Utilizziamo questo LLM chiamato Deepseek e vorremmo integrarlo. Abbiamo già le chiavi API, ecc.
2 Mi Piace
Per quanto ne so, no, poiché Discourse probabilmente supporta solo quelli elencati.
Se sbaglio, chiunque è libero di contraddirmi.
1 Mi Piace
Funziona con VLLM, puoi semplicemente configurare un endpoint VLLM e dovrebbe funzionare subito.
6 Mi Piace
WOW!!
Grazie mille. Ci proverò.
2 Mi Piace
Avere il supporto per quasi tutti gli LLM moderni esistenti è stato un grande obiettivo per la release 3.3, e finalmente ci siamo arrivati, giusto in tempo quando gli LLM con pesi aperti stanno recuperando terreno rispetto a quelli chiusi.
Fatemi sapere se avete bisogno di aiuto per configurare DeepSeek nella vostra istanza, questa funzionalità è nuovissima e stiamo ancora aggiornando tutta la documentazione per riflettere le sue nuove capacità.
2 Mi Piace
Sì, ho bisogno di aiuto. Ho cercato ma non vedo come aggiungerlo senza VLLM. VLLM è un altro sovraccarico che preferirei evitare a causa dei requisiti.
Sarebbe fantastico se ci fosse un’integrazione non solo per Deepseek, ma per molti altri LLM open source. Sono dell’opinione che sia qui che sta andando questa corsa agli LLM.
Da quello che vediamo, le aziende sono riluttanti a consegnare i propri dati al “cloud”. L’open source che consente loro di eseguire istanze locali utilizzando strumenti come GPT4ALL, HuggingFace finirà per essere il modello preferito.
Grazie
1 Mi Piace
Sì, sono d’accordo, è per questo che supportiamo l’esecuzione del proprio LLM fin dal primo giorno.
Cosa?
vLLM è il motore di inferenza più popolare, ed è ben lungi dall’essere un “overhead”, poiché distribuirlo significa ottenere un’inferenza più veloce di qualsiasi script Python messo insieme che uno sviluppatore possa scrivere in un paio di giorni ed è un semplice docker run --gpus all vllm/vllm-openai:latest --model deepseek-ai/DeepSeek-Coder-V2-Instruct per la maggior parte dei modelli.
La nostra implementazione funzionerà con qualsiasi API che aderisca alla consueta specifica de facto di OpenAI, quindi puoi eseguirla senza vLLM o Hugging Face TGI purché la tua API aderisca a ciò che ci si aspetta.
1 Mi Piace
Grazie, dalla mia lettura, {potrei aver letto male) non ho bisogno di un nuovo Droplet [Digital Ocean] alias, VPS per distribuire un VLLM? o può essere distribuito sullo stesso Droplet che ospita la mia istanza di Discourse?
Se sì, sulla stessa istanza, sarebbe nella stessa directory di Discourse o in una directory separata?
Grazie ancora
Qual droplet esatto stai eseguendo il tuo attuale sito Discourse? Quello da 6 dollari?
Quello da $15. Penso che abbia 2 GB di RAM. Una volta terminati i test, lo aumenterò.
Grazie
Hmm, sei consapevole che un droplet per eseguire questo modello Deepseek che desideri costerà circa $10.000 al mese?
4 Mi Piace
Immagino che @oga voglia utilizzare il servizio API ufficiale di Deepseek invece di distribuire autonomamente un modello open-source.
L’API ufficiale di Deepseek è compatibile con l’API di OpenAI, quindi è sufficiente aggiungere un nuovo LLM in admin/plugins/discourse-ai/ai-llms.
3 Mi Piace
È esattamente ciò che stiamo cercando di fare. Stiamo creando una piattaforma per formare bambini e ragazzi su come scrivere PROMPT efficaci, ma vogliamo farlo in un ambiente in cui possiamo monitorare ciò che scrivono.
Ci provo e vedo. Implementare un modello open-source per questo sarebbe proibitivo in termini di costi.
Grazie
1 Mi Piace
Pollo Santo Nuggets!! Non è quello che vogliamo né possiamo permetterci.
1 Mi Piace