Как использовать внутренние AI-эндпоинты?

Поддержка
1

Хотелось бы узнать, какой подход является правильным для использования внутренних конечных точек ИИ-API (например, LiteLLM) на самостоятельно размещенных инстансах Discourse.

Я пытался включить docker bridge, IP-адреса контейнеров и корректные конечные точки с SSL-терминацией (на тот же публичный IP-адрес, где размещен Discourse), но ничего не работает. Я разрешил внутренние хосты, но при тестировании в интерфейсе LLM-AI в Discourse получаю ошибку 500.

Скорее всего, проблема связана с моей собственной конфигурацией, и я знаю, что, вероятно, допустил некоторые ошибки. Поэтому надеюсь решить эту проблему с помощью сообщества :slight_smile:

Наш основной сценарий использования — попробовать конечные точки Vertex AI (OpenAI), которые не заработали «из коробки» в Discourse, поскольку они не поддерживаются. Но мы также хотим использовать слой, который LiteLLM добавляет в наш рабочий процесс.

Логи:

FinalDestination::SSRFDetector::DisallowedIpError (FinalDestination: все разрешенные IP-адреса были запрещены)
2

Если вы запускаете его на том же сервере, вам нужно разрешить это через переменную окружения DISCOURSE_ALLOWED_INTERNAL_HOSTS.

3

Я сделал это в интерфейсе, как видел в предыдущем похожем посте. Также пробовал указать переменную в файле app.yml, но ошибка всё равно возникает.

Что может быть не так, если мои учётные данные верны и я могу использовать конечную точку API на хосте? Можно ли получить больше отладочной информации?

4

Как именно вы добавили это в app.yml? Он ожидает либо IP-адрес, либо имя хоста.

5

Ну, я протестировал конечную точку с SSL внутри Discourse (контейнер приложения), и она работает, но не из интерфейса Discourse AI.

Я использую провайдера «OpenAI» с URL «https://llm.mydomain.tld/v1/chat/completions». Учетные данные в порядке:

/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:182:in 'DiscourseAi::Completions::Endpoints::Base#perform_completion!'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/open_ai_shared.rb:28:in 'DiscourseAi::Completions::Endpoints::OpenAiShared#perform_completion!'
/var/www/discourse/plugins/discourse-ai/lib/completions/llm.rb:214:in 'DiscourseAi::Completions::Llm#generate'

pitchfork-0.18.2/lib/pitchfork/soft_timeout.rb:46:in 'Pitchfork::SoftTimeout::Request#interrupt'
pitchfork-0.18.2/lib/pitchfork/soft_timeout.rb:94:in 'block (2 levels) in Pitchfork::SoftTimeout#create_timeout_thread'
pitchfork-0.18.2/lib/pitchfork/soft_timeout.rb:93:in 'Array#each'
pitchfork-0.18.2/lib/pitchfork/soft_timeout.rb:93:in 'block in Pitchfork::SoftTimeout#create_timeout_thread'

Это странно, и я пытаюсь разобраться с этим уже несколько недель.