Discourse AI - Selbstgehosteter Leitfaden

GPT-4 oder 3.5 kann nicht selbst gehostet werden.

Einige LLMs sind Open Source, wie z. B. Falcon oder verschiedene LLaMA-basierte Modelle (die Lizenzierungsfragen mit sich bringen), können selbst gehostet werden, aber bisher schneiden sie alle schlechter ab als GPT 4 oder sogar 3.5.

Ihre grobe Überschlagsrechnung liegt weit daneben. Wenn Sie ein LLM selbst hosten wollen, benötigen Sie wahrscheinlich eine A100 oder H100, vielleicht mehrere davon … versuchen Sie, nach Preisen zu googeln…

3 „Gefällt mir“