Guide auto-hébergé pour Discourse AI

GPT-4 ou 3.5 ne peuvent pas être auto-hébergés.

Certains LLM sont open source comme Falcon ou divers modèles basés sur LLaMA (qui soulèvent des questions de licence) peuvent être auto-hébergés, mais à ce jour, ils sont tous moins performants que GPT 4 ou même 3.5.

Votre calcul approximatif est complètement faux. Si vous envisagez d’auto-héberger un LLM, vous aurez probablement besoin d’un A100 ou d’un H100, peut-être plusieurs… essayez de rechercher les prix…

3 « J'aime »