私は自分のフォーラムで Discourse AI を設定しており、LiteLLM と Google Vertex AI を介した Gemini 2.5 Flash を使用して AI ボット/エージェントを動作させています。
ボットは動作していますが、その範囲(スコープ)に問題があります。
例えば、私のフォーラムはビジネスに特化したコミュニティです。もしボットに以下のように質問した場合:
「Uber のオーナーは誰ですか?」
ボットは、その質問が私のフォーラムとは無関係であるにもかかわらず、LLM の一般的な知識を用いて回答します。
これにより、2つの問題が生じます。
- ボットを汎用的な Gemini/ChatGPT インターフェースではなく、フォーラム固有の知識アシスタントとして機能させたいです。
- ユーザーが任意の質問をして、私の LLM クレジットを消費したくありません。
理想的には、以下のようなフローを実現したいと考えています:
ユーザーが質問する
↓
このフォーラムに関連しているか?
↓
いいえ → 丁寧にお断りする
↓
はい
↓
フォーラム内の知識を検索
↓
フォーラムの内容に基づいて回答を生成する

