Discourse AI を有効化した場合の関連コンテンツと検索にかかる費用の見積もり

[SubStrider]

クラウドベースのLLMを使用してDiscourse AIを有効にするための、一時的な（一括埋め込み）および継続的な（埋め込みと検索）コストを理解するのに役立つコストベンチマーク、定規、または概算式はありますか？

セルフホスト型LLMの場合、必要となる典型的なサーバー構成/コストはいくらですか？

[NateDhaliwal]

@SubStrider

セルフホスト型LLMの場合、どのようなサーバー構成/コストが必要になりますか？

セルフホストする場合、GPUが必要だと思います、GPUがあった方が良いと思います。Ollamaのようなものをチェックしてみてください。

こちらも参照してください:

Estimating costs of using LLMs for Discourse AI

In order to use certain Discourse AI features, users are required to use a Large Language Model (LLM) provider. Please see each AI feature to determine which LLMs are compatible. If cost is a significant worry, one way to combat that is to set usage limits right from the vendor and use a monthly budget. Another option is to only let select users and groups access the AI features There are several variable factors to consider when calculating the costs of using…

[Falco]

@SubStrider

Discourse AI はクラウドベースの LLM を使用していますか？

関連トピックとAI検索はLLMを使用していません。

@SubStrider

一度限り（一括埋め込み）と継続的（埋め込みと検索）のコストを理解するのに役立つ概算式

一括埋め込みはトピックごとに1リクエストなので、ほとんどのサイトはGeminiの無料ティアのようなもので対応できるはずです。

検索は検索ごとに1リクエストなので、無料ティアに収まる可能性が高いです。

@SubStrider

セルフホストの場合

これは単なる埋め込みモデルなので、GitHub - huggingface/text-embeddings-inference: A blazing fast inference solution for text embeddings models を使用して、Qwen/Qwen3-Embedding-0.6B · Hugging Face を基本的な2 vCPU / 4GB RAMで簡単にセルフホストできるはずです。

もちろんGPU搭載サーバーの方が高速ですが、GPUなしでも問題なく動作します。