Veja este guia:
Então… por que você quer hospedar LLMs?
Para outros, veja Using Discourse and LibreTranslate without AI, que está relacionado.