ボットがタイムアウトしていたため、reasoning を minimal に設定しました。ありがとうございます!
正直なところ、GPT-5は一般的に遅すぎると感じており、応答時間の追加リードタイムに見合うだけの価値があるとは明らかに思えません。
サポートボットではどのように感じましたか?
Chat GPT を介して gpt-5 を試しましたが、API を介して使用するのとは全く異なり、4o や o1 よりもわずかに優れた回答を出すには、非常に長い推論時間が必要でした。迅速な回答が必要な場合、4.1 と比べて何も優れていません。
API を使用する場合、ツールやプロンプトの不足により、状況は同じか、それ以上に悪くなると確信していますが、gpt-5 は非常に遅く、フォーラム環境では光速に近い速度で回答する必要があるため、確信はありません。
コンテンツのパフォーマンスに関して、経験則ですが、gpt-5 は gpt-4o よりも明らかに優れた技術的な回答を出しているようです。それを定量化する方法はわかりませんが、本当に感銘を受けました。
応答にかかる時間にはばらつきがあります。今朝の実験から、gpt-5 は平均して遅いようですが、それほどではなく、gpt-5 の方が速く応答が返ってきたケースもありました。返信には 5 秒から 35 秒かかっています。
RAG を使用しており、レイテンシのどの部分が RAG 検索によるものか、チャット完了によるものかはわかりません。場合によっては RAG 検索を選択しない、検索が速くなる、あるいは何か(検索または完了で)キャッシュされている可能性があります。
顧客に誤った技術的アドバイスを提供することはコストがかかるため、通常は応答速度よりも優れた回答を選択します。ただし、タイムアウトすると非常に悪いユーザーエクスペリエンスになるため、ある程度までは応答速度も重要です。
GPT-5 は、私たちのユースケースでは主に gpt-5-mini を推奨し、状況によっては gpt-5 にエスカレーションすることを推奨しています。それは魅力的ですが、複雑に聞こえます。動的にモデルを切り替えることを検討しましたか?OpenAI はなぜそれを自動的に行わないのでしょうか? ChatGPT - Compare GPT models performance
gpt-4o に戻さなければなりませんでした。なぜなら、gpt-5-mini はできないことをできると思い込んでいるようだったからです。顧客の警報監視サービスをセットアップし、自宅の警報機器に接続することを自信を持って申し出ました。機器の ID 番号を尋ね、すべてをセットアップするコンシェルジュのように幻覚を見ました。当社のウェブサイトならそれができますが、チャットボットにはできません。gpt-4o がしていたように、システムプロンプトのガードレールを尊重していないようです。人々が使用できるようにする前に、さらに絞り込む必要があります。
更新: gpt-5 は、gpt-5-mini よりも指示に従い、プロンプトのルールを尊重する上で優れていることが判明しました。ボットにブランドを代表させたいのであれば、gpt-5 は遅く、5 倍高価ですが、お勧めします。gpt-5-mini が暴走するリスクが高すぎます。
GTP-5-mini を ツール呼び出し、コード記述、構造化データ を介したエージェントフローで非常にうまく活用できています。構造化データの方が、非構造化データよりも AI アプリケーションにとって簡単だと一般的に感じています!… 予想外でしたが!… ガードレール(ループ内のコード、ループ内の人間、ジャッジとしての LLM など)の方が簡単です。
高性能で低コストな gpt-5-mini と gpt-4o の詳細なウォークスルーについては、こちらをご覧ください…
Discourse に構造化データ機能をプラグインなどで組み込むことに興味がある方がいらっしゃいましたら、ご連絡ください。
Data Explorer への SQL/統計/データサイエンス用の NLP 拡張機能がその一例です… しかし、コンテナにロードされた読み取り専用の sqlLite や duckdb などの OLAP ファイルに対する自然言語クエリを可能にするツール/プラグイン/機能を持つことも可能かもしれませんか?… ちょっとした考えです… ![]()
ちなみに、プラグインにGPT 5.1を追加し、いくつかの修正を行いました:
@tom_eric さんは、他のフォーラムメンバーとゲームをプレイする機能について(別のトピックで)尋ねていました。
Chatbotでこのプロンプトを試したところ、GPT 5.1で機能するようです。試してみてください。
@Chatbot、@Other_Playerと私との9x9の囲碁のゲームを、盤面をレンダリングするためにマークダウンテーブルを使って進行してください。私が先手で、自分自身と@Other_Playerからのプレイのみを受け付け、かつ自分の手番の時だけ受け付けてください。盤面をレンダリングし、私に開始するように求めてください…
ああ、ありがとうございます。それは本当に創造的なアイデアですね。ああ、ありがとうございます。それは本当に創造的なアイデアですね。
どういたしまして、うまくいったか教えてください ![]()
少しカスタマイズした開発環境で、このプラグインとDiscourse Frotzを使って、チャットボットがZorkをプレイする実験ができました ![]()
(ここでは推論レベルの低いGPT 5.1を使用)
少し時間が経った後:
かなりのハイスコアを叩き出しています!そして:
(申し訳ありませんが、セットアップが少々複雑なため、ここで簡単に共有することはできません)。
すごい!それが可能だとは知りませんでした。良いプロンプトがあれば、ほとんど何でも可能ということですね ![]()
チャットボットモデルのドロップダウンに、gpt 5.2 と 5.2 pro が追加されました。5.2 には、トークンを大量に消費し環境に甚大な影響を与えるのがお好きな方向けに、xhigh の推論レベルが追加されました ![]()
また、数学プラグインのユーザーは、システムプロンプトに何も追加しなくても、チャットボットが適切にレンダリングされた数学の方程式で数学について議論できるようになっていることに気づくかもしれません…
ローンチボタンを右下にずっときれいに配置し直しました(iOS PWA/アプリを除く)。意図したとおりに動作しない場合はお知らせください。
これは、iOSの煩わしいコントロールバーに対応しつつCSSを簡素化することを常に意図していましたが、これ以上見ていられませんでした。目に障ったのです
![]()
@ThisSource これはDiscourse初のAIチャットボットであり、今も稼働しています:).
Chatbotの最初の継続的なビジネススポンサーであるSuretyを発表できることを嬉しく思います。Suretyは現在、READMEの新しいプロジェクトスポンサーセクションを占めています。
Suretyは、ホームセキュリティ業界の傾向に逆らい、DIY愛好家にプロレベルのセキュリティアラーム監視とホームオートメーションを可能な限り透明かつ効率的な方法で提供することを使命としています。
Surety、ありがとうございます!
私のプロジェクトのスポンサーになりたい場合は、こちらをご覧ください: Sponsor @merefield on GitHub Sponsors · GitHub ![]()
最近のPRの概要 — 2026年8月1日~3日
Discourse Chatbotとその拡張プラグインに関連する複数のPRがマージされました。
ハイライト
- verify-and-revise、best-of-two、不確実性に基づく推論など、高度なローカル推論戦略を導入しました。
- 最新のOpenAIモデルと新しい「最大推論努力」オプションを追加しました。
- 埋め込み類似性を使用したセマンティックなブロック済み質問ゲートを追加しました。
- LLMトークンを消費せずに、ボットが処理すべきではないトピックをブロックできるため、大幅なコスト削減が可能です。
- 基本的な実装とRAG実装を単一のDiscourseChatbot::Botに統合しました。
- ボットモードの設定を、信頼度レベルに基づく組み込みツールセレクタに置き換えました。
- 拡張APIの名称を「Function」から「Tool」に変更しました。
- SafeRubyベースの計算機ツールを、制約付きのDentaku式評価器に置き換えました。これはセキュリティの大きな改善です。SafeRubyという名前にもかかわらず、そこに脆弱性が存在していたためです。
- Chatbotとその拡張プラグイン全体でZeitwerkの読み込みを採用しました。
- 場所固有のツールをLocations Early Accessプラグインに移動しました(アクセス権を回復するにはスポンサー登録してください)
- 計算機のエラー回復機能と、一般的なπ/e表記のサポートを改善しました。
- READMEを更新しました。
- メインプラグインのバージョンを1.8.0から2.4.1に進化させました。
Discourse Chatbot
-
#162 — FIX: Responses APIの推論状態を保持する (FIX: Preserve Responses API reasoning state - Pull Request #162 - merefield/discourse-chatbot - GitHub)
Responses APIの推論とツールの継続を信頼性のあるものにし、設定可能なイテレーションとトークン制限を導入しました。
URLの出所検証を改善し、有用な部分的な応答を保持し、空白または不正な応答が受け入れられるのを防ぎました。 -
#163 — FEATURE: 高度なローカル推論戦略を追加 (FEATURE: Add advanced local reasoning strategies - Pull Request #163 - merefield/discourse-chatbot - GitHub)
Chat Completionsに対して、単純、verify-and-revise、best-of-two、および不確実性に基づく推論戦略を追加しました。
補助リクエストは制限され、スタッフ向けの監査記録が表示されます。 -
#164 — FEATURE: 最新のOpenAIモデルを追加 (FEATURE: Add current OpenAI models - Pull Request #164 - merefield/discourse-chatbot - GitHub)
モデルセレクタに新しいGPT-5.xおよびProバリアントを追加し、適切なモデルをResponses API経由でルーティングし、
最大推論努力オプションを追加しました。 -
#165 — FIX: 計算機の再試行ガイダンスを改善 (FIX: Improve calculator retry guidance - Pull Request #165 - merefield/discourse-chatbot - GitHub)
モデルに明確な計算機構文と回復ガイダンスを提供し、修正可能な失敗が適切に再試行されるようにしました。 -
#166 — FEATURE: セマンティックなブロック済み質問ゲートを追加 (FEATURE: Add semantic blocked-question gate - Pull Request #166 - merefield/discourse-chatbot - GitHub)
管理者が定義したブロック済みトピックを識別し、メインモデルを呼び出す前に定型応答を返すオプションの埋め込みベースのゲートを追加しました。
キャッシュ、スタッフ監査、失敗オープン動作、およびカスタム埋め込みモデルのサポートが含まれています。 -
#167 — DEV: SafeRubyを置き換え、Zeitwerk読み込みを採用 (DEV: Replace SafeRuby and adopt Zeitwerk loading - Pull Request #167 - merefield/discourse-chatbot - GitHub)
ベンダー提供のSafeRuby評価器をDentakuに置き換え、名前空間とファイル名をZeitwerkに合わせ、
プラグインの読み込みとリンター設定を近代化しました。SafeRubyに脆弱性があったことが判明したため、移行を行いました。 -
#168 — DEV: ChatbotからLocations機能を抽出 (DEV: Extract Locations functions from Chatbot - Pull Request #168 - merefield/discourse-chatbot - GitHub)
メインプラグインから場所固有のツールと設定を削除し、discourse-locationsによって独立して提供できるようにしました。 -
#169 — FEATURE: ボットモードを信頼度レベルのツール選択に置き換える
(FEATURE: Replace bot modes with trust-level tool selection - Pull Request #169 - merefield/discourse-chatbot - GitHub)
これは主なアーキテクチャの合理化です:- 個別のbasicおよびRAGボットをDiscourseChatbot::Botに置き換えました。
- 各信頼度レベルに対して組み込みのツールセレクタを追加しました。
- 空のセレクタを、ツールなしの単純なボットと同等としました。
- Visionとペイントをツール選択システムに統合しました。
- 外部プラグインから提供されるツールは、組み込みセレクタの範囲外にしました。
- Functionという用語、設定、クラスをToolに名称変更しました。
- 設定を再配置、集約、および条件付きで非表示にしました。
- 既存の設定に対するマイグレーション処理を追加しました。
- クォータの減算を並行処理安全にしました。
- 応答文字数の制限、ロギングの選択、バイナリPDFの読み込みを修正しました。
-
#170 — FIX: 計算機ツールの回復を改善 (FIX: Improve calculator tool recovery - Pull Request #170 - merefield/discourse-chatbot - GitHub)
Math::PI、Math.PI、Math::E、Math.E、およびπなどの慣れ親しんだ式を、Dentaku互換の構文に正規化しました。
変更のない無効な呼び出しが繰り返された場合、今では実行可能なガイダンスとともに拒否されます。 -
#171 — DEV: Chatbotのドキュメントを更新 (DEV: Refresh chatbot documentation - Pull Request #171 - merefield/discourse-chatbot - GitHub)
統一されたボットとツールアーキテクチャ、推論戦略、ブロック済み質問、計算機の動作、制限、クォータ、カスタムエンドポイント、画像/PDFサポート、および現在の設定についてREADMEを更新しました。
Visionサポートはもはや実験的として記述されなくなりました。
付属プラグイン
-
discourse-locations #4 — FIX: ツールAPIに合わせてChatbotのロケーション拡張を更新 (https://github.com/merefield/discourse-locations-early-access/pull/4)
抽出されたロケーション統合をDiscourseChatbot::Toolに移行し、Locations::Chatbot::Toolsの下に配置し、
統一されたボットに合わせて更新しました。 -
Function拡張の例 #1 — FIX: ChatbotのツールAPIに合わせて例の拡張を更新 (FIX: Update example extension for Chatbot tool API - Pull Request #1 - merefield/discourse-chatbot-function-extension-example - GitHub)
例のプラグインを更新し、DiscourseChatbot::Tool、Zeitwerk読み込み、ツール指向の設定と翻訳、
およびレガシー互換性コードなしの集中的な動作テストを実演しました。
@Karthik_K1 最後の投稿のスクリーンショットをご覧になってください
チャットボットは、この問題をコスト効率よくほぼ解決します:
もちろん、サードパーティ製プラグインのインストールができない場合は、この方法はあまり役立ちません。
キャッシュ最適化を追加しました。これにより、Chatbot の使用コストが削減されるはずです。



