Discourse 翻译器

[NateDhaliwal]

请参见此指南：

为 DiscourseAI 自托管一个开源 LLM

Discourse AI 插件有许多功能需要启用大型语言模型（LLM），例如摘要、AI 助手、AI 搜索、AI 机器人。虽然您可以使用第三方 API，例如配置 OpenAI 的 API 密钥或配置 Anthropic 的 API 密钥，但 Discourse AI 自第一天起就被构建为不依赖于这些服务。 使用 HuggingFace TGI 运行 HuggingFace 提供了一个很棒的容器镜像，可以帮助您快速启动和运行。 例如： mkdir -p /opt/tgi-cache docker run --rm --gpus all --shm-size 1g -p 8080:80 \ -v /opt/tgi-cache:/data \ ghcr.io/huggingface/text-generation-inference:latest \ --model-id mistralai/Mistral-7B-Instruct-v0.2 应该可以让您在本地主机的 8080 端口上使用 Mistral 7B Instruct 的本地实例启动并运行，然后可以使用以下命令进行…

@happyhappy

此外，出于隐私考虑，我们的许多用户并不希望使用 AI 翻译。

那么……你们为什么想要自行托管 LLM 呢？

其他人可参见 Using Discourse and LibreTranslate without AI，该主题与此相关。