Je sais, des questions comme combien c’est beaucoup ou emacs est-il meilleur que vi, quand il y a nano sont difficiles et impossibles à répondre, mais quand même.
J’envisage de créer une nouvelle gouttelette chez DigitalOcean juste à cause de ces trucs d’IA. Alors, lequel offre le meilleur ratio argent/bénéfice sur un forum autrement peu fréquenté avec très peu d’argent en jeu, et quand la cible est 16 Go de RAM :
basique, 112 € — 8 cœurs Intel ou AMD
général, 126 € — 4 cœurs
optimisé pour le CPU, 168 € — 8 cœurs Intel réguliers
optimisé pour la mémoire, 84 € — 2 cœurs
(L’USD est presque le même que l’euro de nos jours)
Encore une fois — je ne sais rien — mais comme Discourse est une application dépendante du client ou quelque chose comme ça, totalement différente de WordPress basé sur PHP, elle n’a pas besoin d’autant de puissance CPU, ou suis-je complètement perdu ? Mais les solutions d’IA changent complètement la donne et nécessitent de la RAM et du CPU ?
Et la question réelle et actuelle est, bien sûr : quels sont les coûts minimums si l’on veut par exemple un bloc Sujets similaires ?
Le principal problème avec la fonction IA « Sujets connexes » est que vous devez générer des plongements (embeddings) pour tous vos sujets existants. Dans les grands forums, cela prend du temps et constitue la partie « coûteuse » de l’opération. Cependant, vous n’avez besoin de le faire qu’une seule fois, vous pouvez donc utiliser des instances horaires pour payer le minimum ici.
Une fois que vous avez généré tous ces plongements, vous n’avez qu’à générer de nouveaux plongements pour les sujets nouveaux et modifiés, et là, vous pouvez probablement vous débrouiller avec une inférence basée sur CPU.
Supposons donc que vous ayez maintenant :
Une instance (droplet) chez Digital Ocean exécutant Discourse
Pendant le remplissage initial, vous pouvez avoir :
Une instance (droplet) chez Digital Ocean exécutant Discourse
Une instance (droplet) chez Digital Ocean exécutant PostgreSQL pour stocker les plongements
Un VPS chez Vultr pour calculer rapidement les plongements
Après le remplissage initial, vous le modifiez pour avoir :
Une instance (droplet) chez Digital Ocean exécutant Discourse
Une instance (droplet) chez Digital Ocean exécutant PostgreSQL pour stocker les plongements et maintenant aussi le service de plongements
Quant à la taille de l’instance pour le point 2, une petite avec 4 Go de RAM pourrait suffire, il faudrait vérifier la quantité de RAM que le conteneur du service de plongements utilise.
Nous y travaillons activement et nous y apporterons beaucoup de changements dans les semaines à venir, à mesure que nous déploierons ce plugin chez nos clients Entreprise et recueillerons leurs commentaires.
Cela dit, dépenser moins de 10 $ pour essayer cela, fournir cette fonctionnalité à votre communauté et pouvoir donner vos premiers commentaires me semble une excellente affaire, mais cela dépend de vos contraintes d’argent et de temps.
Une chose que nous savons qui va se produire, c’est qu’actuellement nous n’utilisons que l’OP dans les embeddings des sujets connexes, et nous allons expérimenter le passage de l’OP et des réponses qui peuvent tenir à la place, ce qui signifie qu’il faudra régénérer tous les embeddings à nouveau. Cela vous coûtera 3 $ et 1 heure de votre temps à nouveau.
