我将在下周向团队解释 Discourse AI 集成。我们已经有一些 API 密钥，但它们都是付费账户的。
我敢肯定会被问到：是否有任何可以免费集成的功能？这是针对学校的，我们确定学生可能想使用所有功能，但成本将是天文数字。
谢谢。
2 个赞
不，它不是免费的。
实际上，Llama 3 是免费的，但据我所知，运行它需要一台价值 30 万美元的计算机。
如果您有一些预算，您可以将其设置为每月向您想付费的任何服务支付那么多费用，当该月的费用用完时，当月就用完了。您会尝试设置限制，以免在第一个星期（或第一天）就用完。要使其设置得让教师们能够将其用作课程的一部分，并能指望它，这将很复杂。
4 个赞
作为一所学校，你们或许可以注册使用 AWS、Azure 或 GCP 等服务的免费教育学分，并利用这些学分来支持 Discourse AI 功能。
7 个赞
谢谢，这正是我打算告诉他们的。它不是免费的。目前的计划是继续使用 Gpt4All 和 LmStudio 的本地实例。
3 个赞
就我而言，你可以在 48GB 显存中运行 Llama3 的 70b 版本，这可以通过在 eBay 上购买两块二手 Nvidia RTX 3090 来轻松获得，每块大约 750 美元。我预计围绕它构建一个完整的系统大约需要 3000 美元左右。
5 个赞
这是一个数量级上的改进！我可以想象一所学校能有这么多钱，但我想象力还挺丰富的。
非常感谢。我大多时候不明白硬件要求。
3 个赞
你可以从另一个角度来看待这个问题。
为什么不试用一下人工智能，然后观察一个月的成本仪表板？之后再决定是否继续。
仅仅在过去 12 个月里，高性能模型的成本就大大降低了。
OpenAI 的 gpt4o-mini 现在非常强大且非常便宜（但这都是相对而言的）。
5 个赞
好吧，mini 每次都让我失望。但这值得在别的地方另开一个话题。
2 个赞
是的，这也可能取决于语言。
2 个赞
Gemini Flash 非常便宜，DeepSeek API 便宜到几乎免费。
如果你需要在本地运行，你可以花不到 1000 美元组装一台可以运行 Llama 模型的机器。我用 1000 美元组装了一台拥有 64GB 显存的 4xP100 机器。但一台拥有 48GB 显存的 2xP40 机器足以运行 70B Llama，如果购买二手零件，花费约为 600 美元。
要达到极致的便宜，你可以使用 AQLM 量化在单个 P40 GPU 上运行，但这会非常慢（约 1 词/秒）。
3 个赞
他们没钱了
有趣的是，没有人考虑所有这些自托管解决方案的电力成本。我想那是一张无法追溯到特定机器的合并发票……
5 个赞
你刚才提到的一个话题，是我一位在公用事业公司工作的朋友前几天提到的，这是远程工作带来的影响。空调/供暖设备现在全天候运行，因为人们必须不停地使用它们。结果是许多人的公用事业账单高得离谱。
1 个赞
请注意，Discourse 托管计划已包含 相关主题。此功能由 AI 嵌入提供支持。
一些提供商（例如 Cloudflare）为自托管用户提供免费套餐，并提供大量的免费使用额度。
4 个赞
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.