Ce guide couvre la page des paramètres LLM, qui fait partie du plugin Discourse AI.
Niveau d’utilisateur requis : Administrateur
La page de paramètres dédiée est conçue pour regrouper tout ce qui concerne les grands modèles linguistiques (LLM) utilisés pour les fonctionnalités de Discourse AI.
Selon la fonctionnalité Discourse AI activée, un LLM peut être nécessaire. Veuillez vérifier chaque fonctionnalité Discourse AI pour savoir si un LLM est un prérequis.
Fonctionnalités
- Ajouter de nouveaux modèles, avec des informations pré-remplies
- Ajouter des modèles personnalisés non mentionnés
- Configurer les paramètres LLM
- Autoriser l’utilisation de LLM spécifiques pour le Bot IA
- Voir le nom d’utilisateur du Bot IA
- Activer la prise en charge de la vision (selon le modèle)
- Tester
- Enregistrer les paramètres
Ajout de connexions LLM
- Allez dans
Admin→Plugins→AI- Allez dans l’onglet
LLMs- Ajoutez une nouvelle connexion, choisissez votre modèle
- Entrez la clé API (selon le modèle, vous pourriez avoir plus de champs à saisir manuellement) et enregistrez
- (Optionnel) Testez votre connexion pour vous assurer qu’elle fonctionne
LLM pris en charge
Vous pouvez toujours ajouter une option personnalisée si vous ne voyez pas votre modèle listé. Les modèles pris en charge sont continuellement ajoutés.
- Grok-2
- Deepseek-R1
- Nova Pro
- Nova Lite
- Nova Micro
- o3-pro
- o3
- o3-mini
- GPT-4.1 (y compris : nano, mini)
- GPT-4o
- GPT-4o mini
- OpenAI o1 Preview
- OpenAI o1 mini Preview
- Claude Sonnet 3.7
- Claude Sonnet 3.5
- Claude Haiku 3.5
- Gemini Pro 1.5
- Gemini Flash 1.5
- Gemini Flash 2.0
- Llama 3.1
- Llama 3.3
- Mistral large
- Pixtral large
- Qwen 2.5 Coder
De plus, les clients hébergés peuvent utiliser le CDCK Hosted Small LLM (Qwen 2.5) préconfiguré sur la page des paramètres. Il s’agit d’un LLM à poids ouverts hébergé par Discourse, prêt à être utilisé pour alimenter les fonctionnalités d’IA.
Champs de configuration
Vous ne verrez que les champs pertinents pour votre fournisseur LLM sélectionné. Veuillez vérifier attentivement tous les champs pré-remplis auprès du fournisseur approprié, tel que
Nom du modèle
Nom à afficherNom du modèleService hébergeant le modèleURL du service hébergeant le modèleClé API du service hébergeant le modèleClé d'accès AWS BedrockRégion AWS BedrockID d'organisation OpenAI optionnelTokenizerNombre de tokens pour l'inviteActiver l'API de réponses(Uniquement pour OpenAI, assurez-vous de définir l’URL surhttps://api.openai.com/v1/responses)FAQ technique
Qu’est-ce qu’un tokenizer ?
- Le tokenizer traduit les chaînes de caractères en tokens, que le modèle utilise pour comprendre l’entrée.
Quel nombre dois-je utiliser pour
Nombre de tokens pour l'invite** ?**
- Une bonne règle générale est de 50 % de la fenêtre de contexte du modèle, qui est la somme du nombre de tokens que vous envoyez et du nombre de tokens qu’ils génèrent. Si l’invite devient trop volumineuse, la requête échouera. Ce nombre est utilisé pour tronquer l’invite et éviter que cela ne se produise.
Mises en garde
- Parfois, vous ne verrez pas le modèle que vous souhaitiez utiliser listé. Bien que vous puissiez les ajouter manuellement, nous prendrons en charge les modèles populaires à mesure qu’ils sortiront.
C’est trop difficile, je ne sais pas du tout comment faire. J’espère que des tutoriels spécifiques sur diverses IA seront mis à jour, comme les paramètres de connexion Google.
Nous avons beaucoup amélioré l’interface utilisateur la semaine dernière, pouvez-vous l’essayer à nouveau ?
Quand Gemini 2.0 sera-t-il pris en charge ?
Depuis un certain temps, il bénéficie d’un support.
Il semble que j’ai un problème où je ne peux pas sélectionner un LLM même si j’ai configuré ceux hébergés par CDCK..
Est-ce normal ?
Il y a beaucoup à démêler ici, quel LLM essayez-vous de choisir pour quoi ?
Les LLM CDCK ne sont disponibles que pour des fonctionnalités très spécifiques. Pour savoir lesquels, vous devez vous rendre sur /admin/whats-new sur votre instance et cliquer sur « afficher uniquement les fonctionnalités expérimentales ». Vous devrez les activer pour débloquer le LLM CDCK sur des fonctionnalités spécifiques.
Tout LLM que vous définissez en dehors des LLM CDCK est disponible pour toutes les fonctionnalités.
Existe-t-il également un sujet qui donne un aperçu général du meilleur équilibre coût/qualité ? Ou même quel LLM peut être utilisé gratuitement pour une petite communauté et des fonctionnalités de base ? Je peux approfondir les détails et expérimenter. Mais je manque un peu de temps.
Par exemple, je ne me soucie que de la détection de spam et d’un filtre d’obscénités. J’avais cela gratuitement, mais ces plugins sont obsolètes ou le seront bientôt. Ce serait bien si je pouvais conserver cette fonctionnalité sans avoir à payer pour un LLM.
Nous avons ce sujet, qui pourrait correspondre à ce que vous recherchez.
Terminé ! C’était en effet assez facile. Mais peut-être que pour quelqu’un qui n’est pas un expert en technologie, cela peut encore être un peu difficile à configurer. Par exemple, le nom du modèle a été automatiquement défini dans les paramètres, mais ce n’était pas le bon. Heureusement, j’ai reconnu le nom du modèle dans un exemple curl pour Claude sur la page de l’API et cela a fonctionné 
Les coûts estimés sont peut-être de 30 centimes d’euro par mois pour le contrôle du spam (je n’ai pas de grand forum). C’est donc gérable ! J’ai fixé une limite de 5 euros dans la console de l’API, juste au cas où.
Lequel avez-vous choisi pour Claude ? Quel était le nom incorrect affiché et par quoi l’avez-vous corrigé ?
J’utilise Claude 3.5, l’ID du modèle est par défaut claude-3-5-haiku, mais j’ai dû le changer en claude-3-5-haiku-20241022, sinon je recevais une erreur.
Bon à savoir, oui, il peut parfois y avoir une déconnexion. Les informations auto-remplies devraient servir de guide, ce qui fonctionne la plupart du temps, mais échoue dans certains cas comme le vôtre (compte tenu de tous les différents modèles et configurations de fournisseurs).
J’ai mis à jour le message initial de ce guide.
Ce modèle n’est pas répertorié dans la version 3.4.2 - ces pré-configurations ne sont-elles disponibles que dans la version 3.5 et dois-je les ajouter manuellement ?
Edit : Quelle option dois-je également choisir pour « Tokenizer » lors de l’utilisation des modèles Grok 3 ?
Les pré-configurations sont simplement des modèles, vous pouvez obtenir le même résultat final en utilisant la « Configuration manuelle ».
J’ai constaté que le tokenizer Gemini est très proche de celui de Grok, alors essayez-le.
Existe-t-il un moyen d’utiliser IBM WatsonX via la configuration de gestion actuelle, ou cela nécessiterait-il des travaux de développement supplémentaires de la part du personnel de Discourse ?
Est-ce que IBM WatsonX expose par hasard une API compatible avec OpenAI ?
Excellente question. Un rapide coup d’œil à la documentation ne m’a pas beaucoup appris, mais le fait que ce dépôt existe suggère qu’il n’est pas directement compatible : GitHub - aseelert/watsonx-openai-api: Watsonx Openai compatible API
Lequel de ces LLM est gratuit à utiliser pour l’anti-spam ?
Edit : Laissez tomber, j’utilise Gemini Flash 2.5
Je me pose toujours la question aussi. Cela semble être la meilleure réponse à cette question.
Mais il y a aussi ceci dans le message d’origine du sujet de configuration du spam. Je pense qu’il est juste un peu difficile à trouver dans toutes les informations qui s’y trouvent.