Pourquoi une IA externe a-t-elle été choisie plutôt qu'un système interne ?

Bonjour,

Je vous contacte pour me renseigner sur la fonctionnalité de contenu connexe sur Discourse. J’ai remarqué qu’elle repose sur une IA externe. Pourquoi cette approche a-t-elle été choisie plutôt que de développer un système interne basé sur des tags ou des catégories qui pourrait proposer directement du contenu pertinent ? J’ai vu une option pour suggérer des sujets de la même catégorie, mais rien pour les tags.

Existe-t-il un plugin ou un composant Discourse officiel qui offre cette fonctionnalité ? Je tiens à vous remercier pour votre travail quotidien et l’innovation constante que vous apportez à la plateforme.

3 « J'aime »

Remarque : Je ne suis ni un employé de Discourse ni un employé d’OpenAI, mais un modérateur de catégorie sur le forum OpenAI (créateurs de ChatGPT et GPT 4) et j’utilise de nombreuses fonctionnalités d’IA de Discourse, même pendant le développement.

Les moyens que vous notez sont des recherches syntaxiques, il s’agit de recherche sémantique et utilise des embeddings au lieu de mots-clés.
Une recherche Google pour comment fonctionne la recherche sémantique révèle de nombreux articles, en voici un que je pense que beaucoup ici aimeront

Oui, cela fait partie du plugin Discourse AI, spécifiquement Sujets connexes sémantiques.

5 « J'aime »

Concernant l’utilisation de ressources externes, vous pouvez exécuter votre LLM localement si vous le souhaitez ? :

Mais l’avez-vous déjà fait pour un projet ?

Cela nécessite de posséder ou de louer du matériel particulièrement performant !

Essayez vous-même les modèles de langage plus petits (que vous pourriez envisager d’héberger) et voyez à quel point vous êtes impressionné :

Vos résultats peuvent varier, mais à mon avis, vous devriez envisager d’héberger un modèle d’au moins 70 milliards de paramètres, ce qui coûtera assez cher à auto-héberger.

À titre de référence, GPT 3.5 est censé être un modèle de 175 milliards de paramètres et GPT 4 en a près de 2 billions (dit-on) :sweat_smile:

J’ai écrit ce plugin :

Et il dispose d’une fonctionnalité de balisage IA. D’après mon expérience, vous avez besoin de GPT 4 Turbo pour qu’il fonctionne bien (et il fonctionne vraiment bien alors !)

Si vous aviez l’intention d’auto-héberger quelque chose d’aussi puissant que ceux-là, il vous faudrait des poches très profondes.

C’est pourquoi l’utilisation d’une API LLM externe reste une option attrayante, pay-as-you-go, surtout parce que vous ne payez que pour les appels que vous effectuez, et non pour une infrastructure coûteuse qui passe du temps à tourner à vide.

Bien sûr, si la confidentialité est une préoccupation majeure et suffisante, cela pourrait changer le calcul.

5 « J'aime »

@EricGT @merefield Merci pour votre réponse rapide et les informations fournies. Je comprends et apprécie l’innovation que l’IA apporte à la plateforme Discourse. Cependant, je suis préoccupé par les exigences strictes en matière de protection des données en Europe, en particulier en France avec le RGPD. Consulter un avocat pour s’assurer de la conformité avec notre politique de confidentialité pourrait être assez coûteux.

C’est pourquoi je me demandais s’il existe un plugin Discourse qui offre une fonctionnalité de contenu connexe sans avoir besoin d’IA externe.

De plus, j’aimerais partager mon expérience personnelle avec vous : j’ai longtemps hésité à lancer mon forum Discourse, craignant de ne pas faire les choses correctement malgré les guides disponibles. L’avènement de ChatGPT a été un tournant pour moi. C’est incroyable comment cela a changé ma vie : avec son aide, j’ai pu entreprendre des projets que je n’aurais pas osé auparavant. C’est une révolution qui m’ouvre de nouvelles perspectives et me permet d’avancer en toute confiance.

Merci encore pour tout le travail que vous faites et pour votre soutien continu.

1 « J'aime »

Comme mentionné, les plugins d’IA peuvent utiliser des services externes ou vous pouvez créer votre propre système cloud personnel qui effectue les mêmes tâches. Cependant, l’exécution de votre propre service d’IA est coûteuse, nécessite une maintenance supplémentaire et ne donne pas des résultats comparables aux services externes.

Ceci est une limitation de la technologie d’IA elle-même, qui est si difficile à maintenir et à exécuter, et non quelque chose que Discourse peut faire à ce sujet. Les plugins Discourse sont agnostiques quant à savoir si vous utilisez un service externe ou un service « interne ».

Pas du tout pertinent dans ce contexte.

Mais… un avocat est vraiment beaucoup moins cher qu’un LLM auto-hébergé.

2 « J'aime »