Comment configurer Discourse pour utiliser un LLM installé localement ?

[meglio (Anton)]

Désolés les gars, je n’ai pas pu déterminer à partir de cet article si un LLM installé localement peut être configuré via l’interface utilisateur des paramètres standard.

[mcwumbly (Dave McClure)]

Je pense que tant qu’il expose une API prise en charge, cela devrait être possible.

Existe-t-il un LLM particulier que vous prévoyez d’installer (ou que vous avez déjà installé) localement ?

[Lilly (Lillian Louis)]

ce sujet pourrait aider

Self-Hosting an OpenSource LLM for DiscourseAI

The Discourse AI plugin has many features that require an LLM to be enabled, like, for example, Summarization, AI Helper, AI Search, AI Bot. While you can use a third party API, like Configure API Keys for OpenAI or Configure API Keys for Anthropic we built Discourse AI since first day to not be locked into those. Running with HuggingFace TGI HuggingFace provides an awesome container image that can get you running quickly. For example: mkdir -p /opt/tgi-cache docker run --rm --gpus all --shm-…

[meglio (Anton)]

@mcwumbly

Y a-t-il un LLM particulier que vous prévoyez d’installer (ou avez déjà installé) localement ?

C’est un autre exercice pour choisir le bon - je n’étais pas certain même après avoir lu vos articles liés à l’IA ici sur Meta.

Je suppose qu’un outil Open Source LLM Selector de l’équipe Discourse serait très utile - car vous connaissez les rouages et ce qu’un LLM doit exactement être capable de faire pour exceller dans divers types de tâches pertinentes pour les communautés Discourse. Ainsi, l’outil/assistant/LLM poserait des questions ou me laisserait cocher/décocher dans une liste de plus de 20 tâches typiques que j’aimerais que le LLM fasse dans ma communauté, puis obtiendrait un Top 3 recommandé (sans compromis mais le plus lourd et nécessitant du matériel coûteux ; équilibré nécessitant un serveur dédié à prix moyen ; et léger pour les tâches de base dans les communautés petites à moyennes qui peuvent fonctionner sur un VPS de 20 à 40 $).

[pfaffman (Jay Pfaffman)]

@meglio

L’outil/assistant/LLM poserait des questions ou me laisserait cocher/décocher dans une liste de plus de 20 tâches typiques que j’aimerais que le LLM accomplisse dans ma communauté, puis obtiendrait un Top 3 recommandé (sans compromis mais le plus gourmand et nécessitant du matériel coûteux ; équilibré nécessitant un serveur dédié à prix moyen ; et léger pour les tâches de base dans les communautés petites à moyennes qui peuvent fonctionner sur un VPS de 20 à 40 $).

Je pense que maintenir la bonne réponse à cela serait un travail à temps plein.

[sam (Sam Saffron)]

Si vous recherchez la gratuité, le niveau gratuit de Gemini est la solution :

Gemini Developer API Pricing  |  Gemini API  |  Google AI...

Gemini Flash 2.0 est un modèle très performant et le niveau gratuit offre une utilisation suffisante pour effectuer pas mal de choses sur votre forum.

[meglio (Anton)]

Je cherche un hébergement local car je ne peux envoyer aucun de nos contenus à un service extérieur à nos serveurs.

Pour les options bon marché, merci pour l’astuce !

[Falco]

@meglio

un Top 3 recommandé (sans compromis mais le plus lourd et nécessitant du matériel coûteux ; équilibré nécessitant un serveur dédié à prix moyen ; et léger pour les tâches de base dans les communautés petites à moyennes qui peuvent fonctionner sur un VPS de 20 à 40 $).

Sans compromis

• DeepSeek V3 0324
• Qwen 3 235B A22

Équilibré

• Qwen 3 32B / 30B A3B
• Llama 3.3 70B
• Qwen 2.5 70B

Léger

Peut-être unsloth/gemma-3-4b-it-qat-GGUF · Hugging Face ? C’est difficile à ce niveau, beaucoup plus économique d’utiliser une API hébergée, comme OpenRouter.