さっきヘルプAIとかなり奇妙な会話をしてしまいました。2回も間違ったアドバイスを受けたのに、そのあとで自分がさっき言ったことを完全に否定されたんです。スクリーンショットやテキストのコピーを貼り付けても、まだ否定して、私が嘘をついているとまで言われました。AIがバグっているのか、私がおかしいのか 
とにかく、複数の面で正常に動作していないのは確かなので、ここで報告しておく価値があると思った次第です。
どのモデルが使用されていたか、また推論レベルなどの関連する設定を知っていれば、その情報は役立つかもしれません。異なるモデルや推論設定では動作が異なるため、これらの詳細は何が起きたかを絞り込むのに役立つ可能性があります。
注:
私はOpenAIのDiscourseフォーラムの常連なので、矛盾するAIの応答、会話コンテキストの喪失や誤解釈、モデルが以前に言ったことを誤って否定するケースといった報告を見ることにかなり慣れています。
そこで観察したところによると、推論モデルが1年以上前に広く利用可能になり始めた頃と比べると、これほど極端な報告は以前より少なくなっているように思えます。ただし、これは私の印象にすぎず、定量化できるものではありません。
ありがとうございます。どのモデルが使用されているかを確認するにはどうすればよいですか？私は初めてDiscourseフォーラムの管理者を務めるので、まだ慣れつつあります。AI関連の変更を行った記憶はないので、おそらくAIはDiscourseのデフォルト設定だと思います。
ちなみに、これはホスティングされたフォーラムです。
もし私が、このような報告書を追跡調査している管理者であれば、まさにその質問に答えようとするでしょう。
私は別のDiscourseホスティングフォーラムの管理者でもあるので、少し調べてみます。
また、ChatGPTに私の返信を確認してもらったところ、以下の内容が追加されました。これから検証しますが、待たせないように共有しておきます。
Discourse AIのドキュメントによると、管理者は以下の場所で設定されたモデルを検査できます：
Admin → Plugins → Discourse AI → LLMs
Discourse AIの機能はペルソナによって支えられており、ペルソナは特定のLLMを使用するように設定できます。現在のAI機能の設定は、どのペルソナとLLMが特定の機能を駆動しているかを示すことができます。
参考資料：
- Discourse AI – Large Language Model (LLM) settings page
- New feature page and customizable prompts in Discourse AI
- Discourse AI – AI bot
まだ見つかっていないのは、通常のユーザーが完了したHelp AIの会話を検査し、その特定のインタラクションを処理した正確なモデルを確認するための文書化された方法です。
誰かが、その情報がユーザー、管理者、または個々のリクエストのサイトログに公開されているかどうかを知っている場合、ここに追加してください。このような報告書にとって有用です。
上記のAI生成セクション（透明性を保つために変更せずに残しています）をレビューしたところ、いくつかの修正を加えます。
まず、Discourse AI – AI bot のリンクを削除します。どのモデルが使用されているかという特定の質問に答えるために、これは必要ではないように見えます。
また、以下も削除します：
まだ見つかっていないのは、通常のユーザーが完了したHelp AIの会話を検査し、その特定のインタラクションを処理した正確なモデルを確認するための文書化された方法です。
この制限は、あなたが管理者であり、通常のユーザーにはアクセスできない設定情報にアクセスできることを明記したため、ここでは特に関連しません。
最後に、関連する設定詳細が見つかる場所を知った今、以下も削除します：
誰かが、その情報がユーザー、管理者、または個々のリクエストのサイトログに公開されているかどうかを知っている場合、ここに追加してください。このような報告書にとって有用です。
現時点で、より有用なアプローチは、Discourse AIの設定を検査し、Help AI機能にどのLLMが割り当てられているかを決定することです。
私は現在の Discourse AI のすべての設定について専門家ではないため、これが私の理解の限界です。
私のサイトでもあなたのサイトでも、設定には以下のように表示されています：
デフォルトの LLM モデル: CDCK Hosted LLM
調べた限りでは、これは Discourse がホストする LLM サービスです。より正確に言うと、現在の CDCK/MoM 実装は、固定された単一のモデルではなく、Mixture of Models（モデルの組み合わせ）によるルーティング層です。タスクに応じて、異なるオープンウェイトのモデルにリクエストをルーティングできます。Discourse には、これに関する有用な説明がここにあります：
もう一つの確認に役立つ場所は以下です：
/admin/plugins/discourse-ai/ai-llms
ここは Discourse AI の LLM 設定ページで、管理者は設定された LLM 接続や、Discourse AI の機能で利用可能なモデルを確認できます。
例えば、私が管理者を務めているサイトでは以下のように表示されます：
これにより、あなたが使用したアクションがそのモデルによって裏付けられているかどうかを示すことができます。
これは、私がモデルと設定について質問した点に対する答えになるようです。
一目見て、そのリストには少し驚きました。もしかすると、Freeプランをご利用なのかなと気になりました。
以前のスレッド Changing to Full Width を確認したところ、次のような記載がありました。
Pro版の14日間トライアルを利用しています
なるほど、それで疑問が解消しました。
もう一つの例です。あなただけがそう感じているわけではないことを知ってほしいと思います。
今はフルのプロプランにしているので、それがデフォルトになるはずです。
また、Discourseの幅についても、今はかなり快適に感じています。必要な調整も済ませました。今となっては、以前のような全幅のフォーラムは少し奇妙に見えます
これ以上追加できることはほとんどありませんが、まだ調査中かどうかが気になっていらっしゃるかもしれないと思い、ご連絡いたしました。
この件を投稿してくださってありがとうございます。今後、他の人々が同様の問題に遭遇する可能性があり、このトピックが役立つドキュメントとなり、調査のための明確な道筋を提供してくれると考えています。