Je pourrais - voudrais - vouloir le service, mais c’est encore tôt pour le forum que j’ai en tête, donc pas assez de données à analyser.
Puisque vous jouez avec cette technologie, pouvez-vous nous dire quel rôle jouent les tags dans l’entraînement de l’IA ? J’ai déployé beaucoup d’efforts pour regrouper le corpus de l’un de mes forums afin de générer des étiquettes qui pourraient ensuite être utilisées pour catégoriser et taguer les sujets. Bien que la catégorisation se soit très bien déroulée, la mise en œuvre des tags est problématique en raison du grand nombre de termes impliqués. Il n’y a aucun moyen pratique de tous les présenter.
Je penserais que l’IA pourrait utiliser ces termes pour améliorer ses propres résultats.
Il n’y a pas d’entraînement de modèles dans Discourse aujourd’hui. Tous les modèles actuellement utilisés par l’un des modules sont déjà entraînés.
Les tags peuvent être utiles pour ajouter du contexte aux invites pour des fonctionnalités telles que les suggestions de tags et les sujets connexes, mais aucune de ces fonctionnalités n’est utilisée pour le moment.
Discourse AI va maintenant stocker les embeddings dans la même instance de base de données que nous utilisons pour tout le reste. Cela rend l’installation et la maintenance beaucoup plus faciles, et nous importerons automatiquement les embeddings de l’ancienne base de données lors de la mise à jour. Après cela, vous pourrez désaffecter l’ancienne base de données.
Ah, cela explique les problèmes que je rencontre maintenant avec ma configuration :
I, [2023-07-18T09:29:11.218667 #1] INFO -- : > cd /var/www/discourse & su discourse -c 'bundle exec rake db:migrate'
------------------------------ERREUR DISCOURSE AI----------------------------------
Discourse AI nécessite l'extension pgvector sur la base de données PostgreSQL.
Exécutez un `./launcher rebuild app` pour corriger cela sur une installation standard.
Alternativement, vous pouvez supprimer Discourse AI pour reconstruire.
------------------------------ERREUR DISCOURSE AI----------------------------------
Ma base de données est un serveur sans serveur RDS Aurora v2 et ne peut donc pas utiliser l’extension pgvector. Y a-t-il une chance de configurer le comportement précédent ?
Utilisez-vous serverless pour la base de données Discourse principale ou uniquement pour celle des embeddings ? Discourse AI stocke maintenant les embeddings dans la base de données principale et nécessite l’extension pgvector activée là-bas. Elle est disponible sur RDS PostgreSQL 13.11 et supérieur. Nous n’utilisons pas Aurora en production, seulement RDS PostgreSQL, donc c’est la seule chose que je peux vous recommander.
RDS est un SaaS d’AWS, il ne peut pas être conditionné dans une image Docker.
Discourse AI fonctionne avec la version PostgreSQL que nous conditionnons dans notre image Docker, avec Amazon RDS ou avec toute instance PostgreSQL sur laquelle l’extension est installée.
Salut
Puis-je utiliser « Llama 2 » open-source de Meta pour la recommandation de publications pour mes utilisateurs ?
Quelqu’un a-t-il eu de l’expérience avec un tel instrument ?
Merci
Voulez-vous dire la recommandation de « Sujets similaires » ? Dans ce cas, non, pas encore. Il n’existe pas encore de modèles d’intégration basés sur Llama 2.
Il convient de mentionner que ceux que nous fournissons (un open-source et un de l’API OpenAI) sont vraiment bons et plus que suffisants pour alimenter la fonctionnalité « Sujets similaires ».
Pas pour le moment, car cela nécessiterait de conserver deux dépôts distincts, l’un avec le code de l’application et l’autre avec les outils internes pour construire des images et les pousser vers nos dépôts internes, et je n’ai vraiment pas trouvé le temps de mettre cela en place correctement.
Le code de l’API est entièrement visible à l’intérieur de l’image conteneur, même si ce n’est pas la meilleure façon de le consulter, au moins tout y est.
Quelqu’un pourrait-il partager les exigences minimales et recommandées exactes du serveur pour un forum avec des visiteurs standards ? Honnêtement, je veux essayer, mais je ne sais pas par où commencer car il n’y a pas d’exigences claires pour le serveur.
Dans mon forum, 200 à 250 utilisateurs en ligne et en moyenne 300 messages sont créés quotidiennement. On ne peut donc pas dire que ce soit excessif, d’où mon terme « standard ». Je comprends ce que vous voulez dire, mais je prévois de louer un nouveau serveur car le serveur Cloud que j’utilise actuellement ne permet pas beaucoup de mises à niveau. Merci pour votre réponse
Par exemple, si vous voulez juste jouer avec des embeddings, un droplet à 6 $ qui le fait sur CPU suffira et vous donnera accès à la fonctionnalité Sujets similaires.
Maintenant, si vous voulez AIHelper et AIBot, vous pouvez :
payer par appel sur OpenAI, et le coût dépendra de votre utilisation.
exécuter un LLM open source sur un serveur que vous possédez pour la confidentialité. Un modèle comme Llama2-70B-Chat nécessitera un serveur qui coûte 10k ~ 25k par mois.
exécuter un LLM open source sur un service payant à l’heure. Vous pouvez exécuter une version quantifiée de Llama2 dans les points de terminaison HuggingFace pour 6,50 $ de l’heure et elle se mettra automatiquement en veille après 15 minutes sans requêtes.
Le domaine ML/Ops évolue rapidement, les GPU sont très rares et de nouveaux modèles sont lancés chaque jour. Difficile à prédire, nous expérimentons tous.
Merci pour votre explication détaillée. J’essaierai donc avec un seul plugin à chaque étape. Je pense que j’apprendrai en détail en fonction de la situation
