Y a-t-il un moyen d’ajouter une clé API d’un LLM qui ne figure pas dans la liste ?
Nous utilisons ce LLM appelé Deepseek et aimerions l’intégrer. Nous avons déjà les clés API, etc.
2 « J'aime »
AFAIK, non, car Discourse ne prend probablement en charge que ceux qui sont listés.
Si je me trompe, n’hésitez pas à me contredire.
1 « J'aime »
Il fonctionne avec VLLM, vous pouvez simplement configurer un point de terminaison VLLM et cela devrait fonctionner immédiatement.
6 « J'aime »
WOW !!
Merci beaucoup. Je vais essayer ça.
2 « J'aime »
Le support de presque tous les LLM modernes existants était un objectif majeur pour la version 3.3, et nous y sommes enfin parvenus, juste au moment où les LLM à poids ouverts rattrapent leur retard sur les LLM fermés.
Faites-moi savoir si vous avez besoin d’aide pour configurer DeepSeek dans votre instance, cette fonctionnalité est toute nouvelle et nous mettons toujours à jour toute la documentation pour refléter ses nouvelles capacités.
2 « J'aime »
Oui, j’ai besoin d’aide. J’ai cherché mais je ne vois pas comment l’ajouter sans VLLM. VLLM représente une surcharge supplémentaire que je préférerais éviter en raison des exigences.
Ce serait formidable s’il existait une intégration non seulement pour Deepseek, mais aussi pour de nombreux autres LLM open source. Je suis d’avis que c’est la direction que prend cette course aux LLM.
D’après ce que nous constatons, les entreprises hésitent à confier leurs données au « cloud ». Les solutions open source qui leur permettent d’exécuter des instances locales à l’aide d’outils comme GPT4ALL, HuggingFace finiront par être le modèle privilégié.
Merci.
1 « J'aime »
Oui, je suis d’accord avec cela, c’est pourquoi nous prenons en charge l’exécution de votre propre LLM dès le premier jour.
Quoi ?
vLLM est le moteur d’inférence le plus populaire, et il est loin d’être une « surcharge », car le déployer signifie que vous obtiendrez une inférence plus rapide que tout script Python bricolé qu’un développeur peut écrire en quelques jours et c’est un simple docker run --gpus all vllm/vllm-openai:latest --model deepseek-ai/DeepSeek-Coder-V2-Instruct pour la plupart des modèles.
Notre implémentation fonctionnera avec n’importe quelle API qui adhère à la spécification de facto habituelle d’OpenAI, vous pouvez donc l’exécuter sans vLLM ou Hugging Face TGI tant que vous faites en sorte que votre API adhère à ce qui est attendu.
1 « J'aime »
Merci, d’après ce que j’ai lu, (j’ai peut-être mal lu) n’ai-je pas besoin d’un nouveau Droplet [Digital Ocean], alias VPS, pour déployer un VLLM ? Ou peut-il être déployé sur le même Droplet qui héberge mon instance Discourse ?
Si oui, sur la même instance, serait-ce dans le même répertoire que Discourse ou dans un répertoire séparé ?
Merci encore.
Quel droplet exact utilisez-vous pour votre site Discourse actuel ? Celui à 6 $ ?
Celui à 15 $. Je pense qu’il a 2 Go de RAM. Une fois que nous aurons terminé les tests, je l’augmenterai.
Merci
Hmm, êtes-vous conscient qu’une gouttelette pour exécuter ce modèle Deepseek que vous voulez vous coûtera environ 10 000 $ par mois ?
4 « J'aime »
Je suppose que @oga veut utiliser le service API officiel de Deepseek au lieu de déployer un modèle open-source par lui-même.
L’API officielle de Deepseek est compatible avec l’API d’OpenAI, il suffit donc d’ajouter un nouveau LLM sous admin/plugins/discourse-ai/ai-llms.
3 « J'aime »
Précisément ce que nous essayons de faire. Nous mettons en place une plateforme pour former les jeunes enfants et les adultes à écrire des PROMPTS efficaces, mais nous voulons le faire dans un environnement où nous pouvons surveiller ce qu’ils demandent.
Laissez-moi essayer cela et voir. Le déploiement d’un modèle Open-Source pour cela serait prohibitif en termes de coûts.
Merci.
1 « J'aime »
Saints pilons de poulet !! Ce n’est pas ce que nous voulons ni ce que nous pouvons nous permettre.
1 « J'aime »