# Puis-je ajouter d'autres LLM ?

**URL:** <https://meta.discourse.org/t/can-i-add-other-llm/319540>\
**Category:** Product Support\
**Tags:** ai\
**Created:** [Juillet 31, 2024, 7:10 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540 "2024-07-31T19:10:42Z")\
**Posts on this page:** 1\
**Showing post:** 7

<div class="post-metadata">

**Author:** ![Falco](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/falco/32/179432_2.png) [@Falco](https://meta.discourse.org/u/Falco)\
**Post date:** [Août 1, 2024, 6:35 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540/7 "2024-08-01T18:35:18Z")

</div>

> [@oga](#):
>
> D’après ce que nous voyons, les entreprises hésitent à confier leurs données au «&nbsp;cloud&nbsp;». L’open source qui leur permet d’exécuter des instances locales à l’aide d’outils comme GPT4ALL, HuggingFace finira par être le modèle privilégié.

Oui, je suis d’accord avec cela, c’est pourquoi nous prenons en charge l’exécution de votre propre LLM dès le premier jour.

> [@oga](#):
>
> VLLM est une autre surcharge que je préférerais éviter en raison des exigences.

Quoi&nbsp;?

vLLM est le moteur d’inférence le plus populaire, et il est loin d’être une «&nbsp;surcharge&nbsp;», car le déployer signifie que vous obtiendrez une inférence **plus rapide** que tout script Python bricolé qu’un développeur peut écrire en quelques jours et c’est un simple `docker run --gpus all vllm/vllm-openai:latest --model deepseek-ai/DeepSeek-Coder-V2-Instruct` pour la plupart des modèles.

> [@oga](#):
>
> J’ai cherché mais je ne vois pas comment l’ajouter sans VLLM.

Notre implémentation fonctionnera avec n’importe quelle API qui adhère à la spécification _de facto_ habituelle d’OpenAI, vous pouvez donc l’exécuter sans vLLM ou Hugging Face TGI tant que vous faites en sorte que votre API adhère à ce qui est attendu.

---

_[View the full topic](https://meta.discourse.org/t/can-i-add-other-llm/319540)._
