Environ 5 $ supplémentaires par mois en coûts d’électricité pour le GPU au ralenti - bien qu’en réalité, le coût supplémentaire pour Discourse soit nul puisque j’exécute déjà le LLM à d’autres fins.
Mais il serait certainement plus économique pour les petits forums et une faible utilisation d’utiliser un LLM en tant que service. Bien que pour l’échelle de l’offre hébergée de Discourse, je soupçonne qu’il pourrait être judicieux d’héberger en interne (et aussi de développer des connaissances dans ce domaine qui sera probablement important).