Discourse AI - Page des paramètres du modèle de langage étendu (LLM)

:bookmark: Ce guide couvre la page des paramètres des LLM, qui fait partie du plugin Discourse AI.

:person_raising_hand: Niveau d’utilisateur requis : Administrateur

La page de paramètres dédiée est conçue pour regrouper tout ce qui concerne les grands modèles linguistiques (LLM) utilisés pour les fonctionnalités de Discourse AI.

:raised_hand_with_fingers_splayed: Selon la fonctionnalité de Discourse AI activée, un LLM pourrait être nécessaire. Veuillez vérifier chaque fonctionnalité de Discourse AI pour savoir si un LLM est un prérequis.


Fonctionnalités

  • Ajouter de nouveaux modèles, avec des informations pré-remplies
  • Ajouter des modèles personnalisés non mentionnés
  • Configurer les paramètres des LLM
  • Autoriser l’utilisation de LLM spécifiques pour le Bot IA
    • Voir le nom d’utilisateur du Bot IA
  • Activer le support de la vision (dépendant du modèle)
  • Configurer les types de pièces jointes autorisés
  • Configurer les quotas d’utilisation par groupe
  • Suivre les coûts des jetons d’entrée/sortie
  • Tester
  • Sauvegarder les paramètres

Ajout de connexions LLM

  1. Accéder à AdministrationPluginsIA
  2. Aller à l’onglet LLMs
  3. Ajouter une nouvelle connexion, choisir votre modèle
  4. Ajouter la clé API (selon le modèle, vous pourriez avoir plus de champs à saisir manuellement) et sauvegarder
  5. (Optionnel) Tester votre connexion pour s’assurer qu’elle fonctionne

LLM pris en charge

:person_tipping_hand: Vous pouvez toujours ajouter une option personnalisée si vous ne voyez pas votre modèle listé. Des modèles pris en charge sont continuellement ajoutés. Les modèles pré-configurés sont des modèles — vous pouvez toujours obtenir le même résultat en utilisant la « Configuration manuelle ».
Anthropic

  • Claude Opus 4.6
  • Claude Sonnet 4.6
  • Claude Haiku 4.5
    Google
  • Gemini 3 Pro
  • Gemini 3 Flash
    OpenAI
  • GPT-5.4
  • GPT-5 Mini
  • GPT-5 Nano
    Open Router
  • DeepSeek V3.2
  • Moonshot Kimi K2.5
  • xAI Grok 4 Fast
  • MiniMax M2.5
  • Z-AI GLM-5
  • … et bien d’autres encore
    De plus, les clients hébergés peuvent utiliser le Small LLM hébergé par CDCK pré-configuré sur la page des paramètres. Il s’agit d’un LLM à poids ouverts hébergé par Discourse, prêt à être utilisé pour alimenter les fonctionnalités d’IA.

Champs de configuration

:information_source: Vous ne verrez que les champs pertinents pour votre fournisseur de LLM sélectionné. Veuillez vérifier à nouveau tous les champs pré-remplis avec le fournisseur approprié, tel que Nom du modèle
Champs de base :

  • Nom affiché — le nom convivial affiché dans les menus déroulants
  • Nom du modèle — l’identifiant du modèle envoyé à l’API (par exemple, claude-sonnet-4-6, gpt-5.2)
  • Fournisseur — le service hébergeant le modèle (par exemple, Anthropic, OpenAI, Google, AWS Bedrock, Azure, Open Router, etc.)
  • URL — l’URL du point de terminaison de l’API (non affiché pour AWS Bedrock)
  • Clé API — configurée via le système AI Secrets
  • Tokeniseur
  • Jetons de prompt max — contrôle l’élagage du prompt pour éviter les requêtes de taille excessive
  • Jetons de sortie max
  • Coût d'entrée / Coût de sortie — coût par million de jetons, utilisé pour le suivi de l’utilisation
  • Coût d'entrée mis en cache / Coût d'écriture du cache — pour les fournisseurs qui prennent en charge la mise en cache des prompts
  • Vision activée — active la compréhension d’images (dépendant du modèle)
  • Types de pièces jointes autorisés — types de fichiers que le modèle peut traiter
    Champs spécifiques au fournisseur (affichés dynamiquement en fonction du fournisseur sélectionné) :
  • AWS Bedrock : Clé d'accès, ARN de rôle, Région, options de raisonnement/réflexion, Mise en cache des prompts
  • Anthropic : options de raisonnement, Mise en cache des prompts
  • OpenAI : ID de l'organisation, Effort de raisonnement, Niveau de service
  • Google : Activer la réflexion, Niveau de réflexion
  • Open Router : Ordre des fournisseurs, Quantifications des fournisseurs
    Quotas (disponibles après la première sauvegarde) :
  • Les quotas d’utilisation par groupe peuvent être configurés avec un nombre max de jetons, un nombre max d’utilisations et une durée

FAQ technique

Qu’est-ce qu’un tokeniseur ?

  • Le tokeniseur traduit les chaînes en jetons, ce que le modèle utilise pour comprendre l’entrée.
    Quel nombre dois-je utiliser pour Jetons de prompt max ?
  • Une bonne règle empirique est 50 % de la fenêtre contextuelle du modèle, ce qui correspond à la somme du nombre de jetons que vous envoyez et du nombre de jetons qu’ils génèrent. Si le prompt devient trop volumineux, la requête échouera. Ce nombre est utilisé pour élaguer le prompt et éviter que cela ne se produise

Avertissements

  • Parfois, vous pourriez ne pas voir le modèle que vous vouliez utiliser listé. Bien que vous puissiez l’ajouter manuellement, nous prendrons en charge les modèles populaires à mesure qu’ils sortent.
11 « J'aime »

C’est trop difficile, je ne sais pas du tout comment faire. J’espère que des tutoriels spécifiques sur diverses IA seront mis à jour, comme les paramètres de connexion Google.

1 « J'aime »

Nous avons beaucoup amélioré l’interface utilisateur la semaine dernière, pouvez-vous l’essayer à nouveau ?

3 « J'aime »

Quand Gemini 2.0 sera-t-il pris en charge ?

Depuis un certain temps, il bénéficie d’un support.

4 « J'aime »

Il semble que j’ai un problème où je ne peux pas sélectionner un LLM même si j’ai configuré ceux hébergés par CDCK..

Est-ce normal ?

2 « J'aime »

Il y a beaucoup à démêler ici, quel LLM essayez-vous de choisir pour quoi ?

Les LLM CDCK ne sont disponibles que pour des fonctionnalités très spécifiques. Pour savoir lesquels, vous devez vous rendre sur /admin/whats-new sur votre instance et cliquer sur « afficher uniquement les fonctionnalités expérimentales ». Vous devrez les activer pour débloquer le LLM CDCK sur des fonctionnalités spécifiques.

Tout LLM que vous définissez en dehors des LLM CDCK est disponible pour toutes les fonctionnalités.

4 « J'aime »

Existe-t-il également un sujet qui donne un aperçu général du meilleur équilibre coût/qualité ? Ou même quel LLM peut être utilisé gratuitement pour une petite communauté et des fonctionnalités de base ? Je peux approfondir les détails et expérimenter. Mais je manque un peu de temps.

Par exemple, je ne me soucie que de la détection de spam et d’un filtre d’obscénités. J’avais cela gratuitement, mais ces plugins sont obsolètes ou le seront bientôt. Ce serait bien si je pouvais conserver cette fonctionnalité sans avoir à payer pour un LLM.

3 « J'aime »

Nous avons ce sujet, qui pourrait correspondre à ce que vous recherchez.

2 « J'aime »

Terminé ! C’était en effet assez facile. Mais peut-être que pour quelqu’un qui n’est pas un expert en technologie, cela peut encore être un peu difficile à configurer. Par exemple, le nom du modèle a été automatiquement défini dans les paramètres, mais ce n’était pas le bon. Heureusement, j’ai reconnu le nom du modèle dans un exemple curl pour Claude sur la page de l’API et cela a fonctionné :tada:

Les coûts estimés sont peut-être de 30 centimes d’euro par mois pour le contrôle du spam (je n’ai pas de grand forum). C’est donc gérable ! J’ai fixé une limite de 5 euros dans la console de l’API, juste au cas où.

1 « J'aime »

Lequel avez-vous choisi pour Claude ? Quel était le nom incorrect affiché et par quoi l’avez-vous corrigé ?

1 « J'aime »

J’utilise Claude 3.5, l’ID du modèle est par défaut claude-3-5-haiku, mais j’ai dû le changer en claude-3-5-haiku-20241022, sinon je recevais une erreur.

1 « J'aime »

Bon à savoir, oui, il peut parfois y avoir une déconnexion. Les informations auto-remplies devraient servir de guide, ce qui fonctionne la plupart du temps, mais échoue dans certains cas comme le vôtre (compte tenu de tous les différents modèles et configurations de fournisseurs).

J’ai mis à jour le message initial de ce guide.

1 « J'aime »

Ce modèle n’est pas répertorié dans la version 3.4.2 - ces pré-configurations ne sont-elles disponibles que dans la version 3.5 et dois-je les ajouter manuellement ?

Edit : Quelle option dois-je également choisir pour « Tokenizer » lors de l’utilisation des modèles Grok 3 ?

Les pré-configurations sont simplement des modèles, vous pouvez obtenir le même résultat final en utilisant la « Configuration manuelle ».

J’ai constaté que le tokenizer Gemini est très proche de celui de Grok, alors essayez-le.

2 « J'aime »

Existe-t-il un moyen d’utiliser IBM WatsonX via la configuration de gestion actuelle, ou cela nécessiterait-il des travaux de développement supplémentaires de la part du personnel de Discourse ?

Est-ce que IBM WatsonX expose par hasard une API compatible avec OpenAI ?

Excellente question. Un rapide coup d’œil à la documentation ne m’a pas beaucoup appris, mais le fait que ce dépôt existe suggère qu’il n’est pas directement compatible : GitHub - aseelert/watsonx-openai-api: Watsonx Openai compatible API

Lequel de ces LLM est gratuit à utiliser pour l’anti-spam ?

Edit : Laissez tomber, j’utilise Gemini Flash 2.5

Je me pose toujours la question aussi. Cela semble être la meilleure réponse à cette question.

Mais il y a aussi ceci dans le message d’origine du sujet de configuration du spam. Je pense qu’il est juste un peu difficile à trouver dans toutes les informations qui s’y trouvent.

1 « J'aime »