Discourse AI - 大規模言語モデル(LLM)設定ページ

:bookmark: このガイドでは、Discourse AI プラグインの一部である LLM 設定ページについて説明します。

:person_raising_hand: 必要なユーザーレベル: 管理者
専用の設定ページは、Discourse AI 機能で使用される大規模言語モデル (LLM) に関連するすべてを 1 か所にまとめるように設計されています。

:raised_hand_with_fingers_splayed: 有効になっている Discourse AI 機能によっては、LLM が必要になる場合があります。LLM が前提条件であるかどうかを確認するには、各 Discourse AI 機能をチェックしてください。


機能

  • 事前入力された情報で新しいモデルを追加する
  • 記載されていないカスタムモデルを追加する
  • LLM 設定を構成する
  • AI ボットに特定の LLM の使用を許可する
    • AI ボットのユーザー名を表示する
  • ビジョンサポートを有効にする (モデルに依存)
  • テストする
  • 設定を保存する

LLM 接続の追加

  1. 管理プラグインAI に移動します。
  2. LLM タブに移動します。
  3. 新しい接続を追加し、モデルを選択します。
  4. API キーを入力し (モデルによっては、手動で入力する必要があるフィールドがさらにある場合があります)、保存します。
  5. (オプション) 接続をテストして、正常に機能することを確認します。

サポートされている LLM

:person_tipping_hand: リストにないモデルは、いつでもカスタムオプションとして追加できます。サポートされているモデルは継続的に追加されています。

  • Grok-2
  • Deepseek-R1
  • Nova Pro
  • Nova Lite
  • Nova Micro
  • o3-pro
  • o3
  • o3-mini
  • GPT-4.1 (nano、mini を含む)
  • GPT-4o
  • GPT-4o mini
  • OpenAI o1 Preview
  • OpenAI o1 mini Preview
  • Claude Sonnet 3.7
  • Claude Sonnet 3.5
  • Claude Haiku 3.5
  • Gemini Pro 1.5
  • Gemini Flash 1.5
  • Gemini Flash 2.0
  • Llama 3.1
  • Llama 3.3
  • Mistral large
  • Pixtral large
  • Qwen 2.5 Coder

さらに、ホストされている顧客は、設定ページに事前構成された CDCK ホスト済みスモール LLM (Qwen 2.5) を使用できます。これは Discourse によってホストされているオープンウェイト LLM で、AI 機能を強化するためにすぐに使用できます。

構成フィールド

:information_source: 選択した LLM プロバイダーに関連するフィールドのみが表示されます。モデル名 など、事前入力されたフィールドを適切なプロバイダーで再確認してください。

  • 表示名
  • モデル名
  • モデルをホストしているサービス
  • モデルをホストしているサービスの URL
  • モデルをホストしているサービスの API キー
  • AWS Bedrock アクセスキー ID
  • AWS Bedrock リージョン
  • オプションの OpenAI 組織 ID
  • トークナイザー
  • プロンプトのトークン数
  • 応答 API を有効にする (Open AI のみ。URL を https://api.openai.com/v1/responses に設定してください)

技術 FAQ

トークナイザーとは何ですか?

  • トークナイザーは、文字列をトークンに変換します。トークンは、モデルが入力 を理解するために使用するものです。

プロンプトのトークン数 にはどの数値を入力すればよいですか?

  • 経験則として、モデルのコンテキストウィンドウの 50% を使用します。コンテキストウィンドウは、送信するトークン数と生成されるトークン数の合計です。プロンプトが大きすぎると、リクエストは失敗します。この数値は、プロンプトをトリミングして、そうならないようにするために使用されます。

注意事項

  • 使用したいモデルがリストに表示されない場合があります。手動で追加できますが、人気のあるモデルはリリースされ次第サポートします。
「いいね!」 9

難しすぎます。やり方が全くわかりません。Googleログイン設定など、様々なAIの具体的なチュートリアルを更新してほしいです。

「いいね!」 1

先週、UIを大幅に改善しました。もう一度試していただけますか?

「いいね!」 3

Gemini 2.0 はいつサポートされますか?

かなりの間サポートされてきました。

「いいね!」 4

CDCKがホストしているものが設定されているにもかかわらず、LLMを選択できないという問題があるようです。

これは正常ですか?

「いいね!」 2

ここに解凍すべきことがたくさんありますが、何のためにどのLLMを選択しようとしていますか?

CDCK LLMは非常に特定の機能にのみ利用可能です。どのLLMが必要かを確認するには、インスタンスの /admin/whats-new にアクセスし、「実験的な機能のみ表示」をクリックしてください。CDCK LLMを特定の機能で利用可能にするには、有効にする必要があります。

CDCK LLM以外で定義したLLMは、すべての機能で利用可能です。

「いいね!」 4

コスト/品質のバランスが最も良い一般的な概要を提供するトピックはありますか?それとも、小規模なコミュニティや基本的な機能で無料で利用できるLLMはありますか?詳細を調べたり、試したりすることはできますが、時間が少ししかありません。

例えば、スパム検出と不適切表現フィルターのみに関心があります。これらは無料で利用していましたが、それらのプラグインは廃止されているか、まもなく廃止される予定です。LLMにお金を払うことなく、この機能を引き続き利用できると良いのですが。

「いいね!」 3

お探しのものに合致する可能性のあるトピックはこちらです。

「いいね!」 2

完了しました!実際にはかなり簡単でした。しかし、テクノロジーに詳しくない人にとっては、セットアップがまだ少し難しいかもしれません。たとえば、モデル名は設定で自動的に設定されていましたが、正しくありませんでした。幸い、APIページでClaudeのcurl例でモデル名を認識し、その後機能しました:tada:

スパム制御の推定コストは、月額約30ユーロセントです(私のフォーラムはそれほど大きくありません)。したがって、管理可能です!念のため、APIコンソールで5ユーロの制限を設定しました。

「いいね!」 1

Claudeにはどちらを選びましたか?表示された間違った名前は何で、正しい名前に修正しましたか?

「いいね!」 1

私はClaude 3.5を使用しています。モデルIDはデフォルトでclaude-3-5-haikuですが、エラーが出るためclaude-3-5-haiku-20241022に変更しなければなりませんでした。

「いいね!」 1

承知いたしました。時々、接続にずれが生じることがあります。自動入力される情報は、ほとんどの場合機能するガイダンスとして機能しますが、ご指摘のような(さまざまなモデルやプロバイダー構成があるため)特定のケースでは不十分な場合があります。

このガイドのOPを更新しました。

「いいね!」 1

このモデルは3.4.2に記載されていません。これらの事前設定は3.5でのみ利用可能で、手動で追加する必要があるのでしょうか?

編集:また、Grok 3モデルを使用する場合、「Tokenizer」にはどのオプションを選択すればよいですか?

プリコンフィグは単なるテンプレートです。「手動設定」を使用しても同じ最終結果を得ることができます。

GeminiトークナイザーはGrokのものにかなり近いことがわかったので、それを試してみてください。

「いいね!」 2

現在の構成管理でIBM WatsonXを使用する方法はありますか、それともDiscourseのスタッフによる追加の開発作業が必要になりますか?

IBM WatsonX は、OpenAI と互換性のある API を公開していますか?

素晴らしい質問ですね。ドキュメントをざっと確認しましたが、あまり情報は得られませんでした。しかし、このリポジトリが存在するという事実は、直接互換性がないことを示唆しています: GitHub - aseelert/watsonx-openai-api: Watsonx Openai compatible API

これらのLLMのうち、スパム対策に無料で利用できるものはどれですか?

編集:いや、Gemini Flash 2.5 を使用しています。

私もいつも不思議に思っています。この質問に対する最良の答えはこれのようです。

しかし、スパム設定トピックのOPにもこれがあります。そこにあるすべての情報の中から見つけるのが少し難しいだけだと思います。

「いいね!」 1