¿Cómo configurar Discourse para usar un LLM instalado localmente?

[meglio (Anton)]

Lo siento, amigos, no pude averiguar en este artículo si el LLM instalado localmente se puede configurar a través de la interfaz de configuración estándar.

[mcwumbly (Dave McClure)]

Creo que siempre y cuando exponga una API compatible, debería ser posible.

¿Hay algún LLM en particular que estés planeando instalar (o ya hayas instalado) localmente?

[Lilly]

este tema puede ayudar

Self-Hosting an OpenSource LLM for DiscourseAI

The Discourse AI plugin has many features that require an LLM to be enabled, like, for example, Summarization, AI Helper, AI Search, AI Bot. While you can use a third party API, like Configure API Keys for OpenAI or Configure API Keys for Anthropic we built Discourse AI since first day to not be locked into those. Running with HuggingFace TGI HuggingFace provides an awesome container image that can get you running quickly. For example: mkdir -p /opt/tgi-cache docker run --rm --gpus all --shm-…

[meglio (Anton)]

@mcwumbly

¿Tienes algún LLM en particular que planees instalar (o ya hayas instalado) localmente?

Ese es otro ejercicio para elegir el correcto; no estaba seguro ni después de leer tus artículos relacionados con la IA aquí en Meta.

Supongo que una herramienta Selector de LLM de Código Abierto del Equipo de Discourse sería muy útil, porque ustedes conocen los entresijos y lo que exactamente debe ser capaz de hacer un LLM para destacar en varios tipos de tareas relevantes para las comunidades de Discourse. Por lo tanto, la herramienta/asistente/LLM haría preguntas o me permitiría marcar/desmarcar en una lista de más de 20 tareas típicas que me gustaría que el LLM hiciera en mi comunidad, y luego obtendría una recomendación de los 3 principales (sin concesiones pero más pesados y que requieren hardware costoso; equilibrado que requiere un servidor dedicado de precio medio; y ligero para tareas básicas en comunidades pequeñas a medianas que pueden ejecutarse en un VPS de $20-40).

[pfaffman (Jay Pfaffman)]

@meglio

Entonces, la herramienta/asistente/LLM haría preguntas o me permitiría marcar/desmarcar en una lista de más de 20 tareas típicas que me gustaría que el LLM hiciera en mi comunidad, y luego obtendría un Top 3 recomendado (sin concesiones, pero el más pesado y requiere hardware costoso; equilibrado que requiere un servidor dedicado de precio medio; y ligero para tareas básicas en comunidades pequeñas a medianas que pueden ejecutarse en un VPS de $20-40).

Creo que mantener la respuesta correcta a eso sería un trabajo a tiempo completo.

[sam (Sam Saffron)]

Si buscas algo económico, el nivel gratuito de Gemini es el camino a seguir:

Gemini Developer API Pricing  |  Gemini API  |  Google AI...

Gemini Flash 2.0 es un modelo muy capaz y el nivel gratuito proporciona suficiente uso para realizar bastantes cosas en tu foro.

[meglio (Anton)]

Buscando alojamiento local porque no puedo enviar ninguno de nuestros contenidos a ningún servicio fuera de nuestros servidores.

En cuanto a las opciones baratas, ¡gracias por la pista!

[Falco]

@meglio

un Top 3 recomendado (sin concesiones pero el más pesado y requiere hardware caro; equilibrado que requiere un servidor dedicado de precio medio; y ligero para tareas básicas en comunidades pequeñas y medianas que pueden ejecutarse en un VPS de 20-40 $).

Sin concesiones

• DeepSeek V3 0324
• Qwen 3 235B A22

Equilibrado

• Qwen 3 32B / 30B A3B
• Llama 3.3 70B
• Qwen 2.5 70B

Ligero

¿Quizás unsloth/gemma-3-4b-it-qat-GGUF · Hugging Face? Es difícil a este nivel, es mucho más económico usar una API alojada, como OpenRouter.