¿Hay alguna forma de añadir una clave de API de un LLM que no esté en la lista?
Utilizamos este LLM llamado Deepseek y nos gustaría integrarlo. Ya tenemos las claves de API, etc.
2 Me gusta
AFAIK, no, ya que Discourse probablemente solo soporta los listados.
Si me equivoco, siéntete libre de contradecirme.
1 me gusta
Funciona con VLLM, puedes configurar un endpoint de VLLM y debería funcionar directamente.
6 Me gusta
¡¡GUAU!!
Muchas gracias. Lo intentaré.
2 Me gusta
Tener soporte para casi todos los LLM modernos que existen fue un gran enfoque para la versión 3.3, y finalmente lo logramos, justo a tiempo cuando los LLM de pesos abiertos están alcanzando a los cerrados.
Avísame si necesitas ayuda para configurar DeepSeek en tu instancia, esta función es completamente nueva y todavía estamos actualizando toda la documentación para reflejar sus nuevas capacidades.
2 Me gusta
Sí, necesito ayuda. Busqué pero no veo cómo añadirlo sin VLLM. VLLM es otra sobrecarga que preferiría evitar debido a los requisitos.
Sería genial si hubiera una integración no solo para Deepseek, sino para muchos otros LLM de código abierto. En mi opinión, hacia allí se dirige esta carrera de LLM.
Por lo que vemos, las empresas dudan en entregar sus datos a la “nube”. El código abierto que les permite ejecutar instancias locales utilizando herramientas como GPT4ALL, HuggingFace terminará siendo el modelo preferido.
Gracias.
1 me gusta
Sí, estoy de acuerdo con eso, por eso admitimos la ejecución de su propio LLM desde el primer día.
¿Qué?
vLLM es el motor de inferencia más popular, y está lejos de ser una “sobrecarga”, ya que desplegar con él significa que obtendrá una inferencia más rápida que cualquier script de Python improvisado que un desarrollador pueda escribir en un par de días y está a un simple docker run --gpus all vllm/vllm-openai:latest --model deepseek-ai/DeepSeek-Coder-V2-Instruct de distancia para la mayoría de los modelos.
Nuestra implementación funcionará con cualquier API que se adhiera a la especificación de facto habitual de OpenAI, por lo que puede ejecutarla sin vLLM o Hugging Face TGI siempre que haga que su API se adhiera a lo que se espera.
1 me gusta
Gracias, por lo que he leído, (puede que lo haya leído mal) ¿no necesito un nuevo Droplet [Digital Ocean], también conocido como VPS, para implementar un VLLM? ¿O se puede implementar en el mismo Droplet que aloja mi instancia de Discourse?
Si es así, ¿en la misma instancia, estaría en el mismo directorio que Discourse o en un directorio separado?
Gracias de nuevo.
¿Qué droplet exacto estás ejecutando en tu sitio actual de Discourse? ¿El de 6 dólares?
El de $15. Creo que tiene 2 GB de RAM. Una vez que terminemos de probar, lo escalaré.
Gracias
Hmm, ¿eres consciente de que un droplet para ejecutar este modelo Deepseek que quieres te costará como 10.000 dólares al mes?
4 Me gusta
Supongo que @oga quiere usar el servicio oficial de la API de Deepseek en lugar de implementar un modelo de código abierto por su cuenta.
La API oficial de Deepseek es compatible con la API de OpenAI, por lo que solo es necesario agregar un nuevo LLM en admin/plugins/discourse-ai/ai-llms.
3 Me gusta
PRECISEMENTE lo que estamos tratando de hacer. Estamos configurando una plataforma para capacitar a niños y adultos jóvenes sobre cómo escribir PROMPTS efectivos, pero queremos hacerlo en un entorno que podamos monitorear para ver qué escriben.
Déjame intentar esto y ver. Desplegar un modelo de código abierto para esto será prohibitivo en cuanto a costos.
Gracias
1 me gusta
¡¡Santo Pollo !! No es lo que queremos ni podemos permitirnos.
1 me gusta