GPT-4 或 3.5 无法自托管。
一些大型语言模型（LLM）是开源的，例如 Falcon 或各种基于 LLaMA 的模型（这些模型附带许可问题），可以自托管，但迄今为止，它们 all 都逊色于 GPT 4 甚至 3.5。
您那里的粗略计算大错特错，如果您要自托管大型语言模型，您可能需要一个 A100 或 H100，也许是几个……试试搜索一下价格……
3 个赞
GPT-4 或 3.5 无法自托管。
一些大型语言模型（LLM）是开源的，例如 Falcon 或各种基于 LLaMA 的模型（这些模型附带许可问题），可以自托管，但迄今为止，它们 all 都逊色于 GPT 4 甚至 3.5。
您那里的粗略计算大错特错，如果您要自托管大型语言模型，您可能需要一个 A100 或 H100，也许是几个……试试搜索一下价格……