Je suis nouveau dans l’IA de discours. J’utilise « sentence-transformers/all-mpnet-base-v2 » comme modèle d’intégration. Est-ce suffisant pour effectuer une recherche sémantique ?
Ou dois-je ajouter un modèle Hyde pour cela ?
Veuillez me guider à ce sujet.
Vous avez également besoin d’un LLM pour la recherche sémantique. Si vous souhaitez auto-héberger, consultez Auto-hébergement d’un LLM OpenSource pour DiscourseAI.
Merci beaucoup.
Pouvez-vous me donner une idée des exigences pour héberger un modèle comme « mistralai/Mistral-7B-Instruct-v0.2 » sur site et dans le cloud pour un site Web de niveau entreprise, s’il vous plaît.
Et je ne trouve pas non plus de tokenizers pour ce modèle dans le panneau d’administration.
Il n’y a rien de spécifique à Discourse ici, donc les règles standard s’appliquent. Un modèle 7B, s’il est exécuté en utilisant fp16, prendra ~14 Go de VRAM plus l’espace pour le contexte. Vous pouvez utiliser la quantification fp8 pour réduire cela de moitié, mais ce vieux modèle n’est pas le meilleur pour cela.
Comme il n’est pas possible de fournir tous les tokenizers possibles, vous devriez choisir celui qui s’en rapproche le plus parmi les tokenizers disponibles.
Pouvez-vous nous suggérer quelques modèles LLM pour ce scénario ? Nous pourrions héberger notre modèle en local, donc nous aimerions connaître le facteur de compatibilité des modèles avec Discourse.
Merci.
Dépend de votre budget, de la prise en charge linguistique cible et des fonctionnalités de Discourse AI que vous souhaitez.
Aujourd’hui, Qwen 2.5 Instruct en 32B ou 72B est un sérieux concurrent.
Y a-t-il un moyen d’utiliser un modèle plus petit pour la fonction de résumé ? Parce que les LLM (large language models) nécessitent un budget plus important, et nous pourrions devoir opter pour quelque chose de plus petit pour le moment…
Oui, vous pouvez utiliser n’importe quel modèle que vous souhaitez.
Pouvons-nous modifier la charge utile du modèle pour la résumé ou toute autre fonction ?
Surtout, je veux changer le contenu du système.
{‘role’: ‘system’, ‘content’: ‘Vous êtes un bot de résumé avancé qui génère des résumés concis et cohérents du texte fourni.\\n\\n- Incluez uniquement le résumé, sans aucun commentaire supplémentaire.\\n- Vous comprenez et générez le Markdown du forum Discourse ; y compris les liens, les italiques, les gras.\\n- Maintenez la langue d’origine du texte résumé.\\n- Visez des résumés de 400 mots ou moins.\\n- Chaque message est formaté comme « \u003cNUMÉRO_DU_MESSAGE\u003e) »\\n- Citez les messages spécifiques notables en utilisant le format DESCRIPTION\\n - Exemple : liens vers les 3ème et 6ème messages de sam : sam (#3, #6)\\n - Exemple : lien vers le 6ème message de jane : d’accord avec\\n - Exemple : lien vers le 13ème message de joe : joe\\n- Lors du formatage des noms d’utilisateur, utilisez @NOMDUTILISATEUR OU NOMDUTILISATEUR’}
Si possible, comment faire ?
Ce n’est pas possible pour le moment, mais nous avons déjà commencé à travailler pour le rendre possible. Cela devrait être disponible dans les semaines à venir.