内部AIエンドポイントの使用方法

サポート
1

セルフホスト型のDiscourseインスタンスで内部AI APIエンドポイント（LiteLLMなど）を適切に利用するための正しいアプローチは何でしょうか？

Dockerブリッジ、コンテナIP、および適切なSSL終端エンドポイント（Discourseがホストされているのと同じ公開IP宛）を有効にしてみましたが、うまくいきませんでした。内部ホストを許可設定にしましたが、Discourse内のLLM-AI UIでテストすると500エラーが発生します。

おそらく私の設定に問題があり、いくつかのミスをしたことは承知しています。そこで、コミュニティの皆様の助けを借りてこの問題を解決したいと思っています :slight_smile:

主なユースケースは、Discourseでデフォルトではサポートされていないためそのままでは使えなかったVertex AI（OpenAI）エンドポイントを試してみることですが、同時にLiteLLMがワークフローに追加するレイヤーも利用したいと考えています。

ログ:

FinalDestination::SSRFDetector::DisallowedIpError (FinalDestination: 解決されたすべてのIPが許可されていません)
2

同じサーバーで実行している場合は、DISCOURSE_ALLOWED_INTERNAL_HOSTS 環境変数で許可する必要があります。

3

私は、以前の類似の投稿で見たように、UI で実施しました。app.yml ファイルで変数を試しましたが、まだエラーが発生します。

認証情報が正しく、ホストで API エンドポイントを使用できる場合、何が問題なのでしょうか？さらにデバッグすることはできますか？

4

app.yml には具体的にどのように追加しましたか？そこには IP アドレスかホスト名のどちらかが期待されています。

5

さて、SSL付きのDiscourse（アプリコンテナ）内でエンドポイントをテストしましたが、動作しました。ただし、Discourse AI UIのテストからは動作しませんでした。

プロバイダーには「OpenAI」を使用し、URLには「https://llm.mydomain.tld/v1/chat/completions」を設定しています。認証情報は問題ありません：

/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:182:in 'DiscourseAi::Completions::Endpoints::Base#perform_completion!'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/open_ai_shared.rb:28:in 'DiscourseAi::Completions::Endpoints::OpenAiShared#perform_completion!'
/var/www/discourse/plugins/discourse-ai/lib/completions/llm.rb:214:in 'DiscourseAi::Completions::Llm#generate'

pitchfork-0.18.2/lib/pitchfork/soft_timeout.rb:46:in 'Pitchfork::SoftTimeout::Request#interrupt'
pitchfork-0.18.2/lib/pitchfork/soft_timeout.rb:94:in 'block (2 levels) in Pitchfork::SoftTimeout#create_timeout_thread'
pitchfork-0.18.2/lib/pitchfork/soft_timeout.rb:93:in 'Array#each'
pitchfork-0.18.2/lib/pitchfork/soft_timeout.rb:93:in 'block in Pitchfork::SoftTimeout#create_timeout_thread'

不審な点があり、数週間かけて解決を試みています。

すでに以下を試しました：

編集 1: DISCOURSE_ALLOWED_INTERNAL_HOSTS: 172.16.X.X （LiteLLMコンテナのIP、127.0.0.1、およびSSL終端処理されたLLMドメインホスト。ここには設定しないことが理解できます）

編集 2: また、MCPサーバー（MCP discourse-aiタブの設定）の設定画面に入ろうとした際にも、同じ500エラーが発生していることがわかりました。

6

代わりに DISCOURSE_ALLOWED_INTERNAL_HOSTS: llm.mydomain.tld を試してみてください。

7

以前書いた通り、すでに試しましたが、何も機能せず、何か変な現象なので、どのようにデバッグすればよいかお尋ねしています。

このエンドポイントは Discourse コンテナアプリ内では動作しますが、Discourse UI からは動作しません。