ローカルにインストールされたLLMを使用するようにDiscourseを設定する方法

サポート
1

すみません、この記事では、ローカルにインストールされたLLMを標準設定UIから設定できるかどうかがわかりませんでした。

「いいね！」 2
2

サポートされているAPIを公開している限り、可能だと思います。

ローカルにインストールすることを計画している（またはすでにインストールしている）特定のLLMはありますか？

「いいね！」 4
3

このトピックがお役に立つかもしれません。

「いいね！」 6
4

それもまた、適切なものを選択するための課題です。こちらのMetaで書かれたAI関連の記事を読んだ後でさえ、私は確信が持てませんでした。

DiscourseチームからオープンソースLLMセレクターのようなツールがあれば非常に役立つと思います。なぜなら、あなたは内部構造を知っており、Discourseコミュニティに関連する様々な種類のタスクでLLMが優れているために、正確に何ができる必要があるかを知っているからです。そのため、ツール/ウィザード/LLMは質問をするか、私がコミュニティでLLMに実行してほしい典型的なタスクの20以上のリストでオン/オフを切り替えられるようにし、それから推奨されるトップ3（妥協のないが最も重く高価なハードウェアが必要なもの、バランスの取れたで中価格帯の専用サーバーが必要なもの、そして小規模から中規模コミュニティの基本的なタスクで$20-40のVPSで実行できる軽量なもの）を得られるでしょう。

「いいね！」 2
5

その正しい答えを維持するのは、フルタイムの仕事になると思います。:rofl:

「いいね！」 5
6

安価なものを探しているなら、Gemini の無料枠が最適です。

Gemini Flash 2.0 は非常に高性能なモデルであり、無料枠でもフォーラムでかなりの作業を実行できる十分な使用量を提供します。

「いいね！」 5
7

ローカルでホストできるものを探しています。コンテンツを自社のサーバー外のサービスに送信できないためです。

安価なオプションについてですが、ヒントありがとうございます！

「いいね！」 4
8

妥協なし

  • DeepSeek V3 0324
  • Qwen 3 235B A22

バランス型

  • Qwen 3 32B / 30B A3B
  • Llama 3.3 70B
  • Qwen 2.5 70B

軽量型

unsloth/gemma-3-4b-it-qat-GGUF · Hugging Face はどうでしょうか？ このレベルでは難しいですが、OpenRouterのようなホストAPIを使用する方がはるかに経済的です。

「いいね！」 4