Come utilizzare gli endpoint AI interni?

Supporto
1

Mi chiedo quale sia l’approccio giusto per utilizzare endpoint API AI interni (come LiteLLM) su istanze self-hosted di Discourse.

Ho provato ad abilitare il bridge Docker, gli IP dei container e endpoint SSL terminati correttamente (verso lo stesso IP pubblico su cui è ospitato Discourse), ma nulla funziona. Ho consentito gli host interni, ma ricevo un errore 500 quando provo a testare l’interfaccia LLM-AI all’interno di Discourse.

Probabilmente è legato alla mia configurazione e so di aver probabilmente commesso alcuni errori. Quindi spero di risolvere la questione con l’aiuto della comunità :slight_smile:

Il nostro caso d’uso principale è provare gli endpoint di Vertex AI (OpenAI) che non funzionavano “out of the box” su Discourse perché non supportati. Vogliamo anche mantenere il livello che LiteLLM aggiunge al nostro flusso di lavoro.

Log:

FinalDestination::SSRFDetector::DisallowedIpError (FinalDestination: tutti gli IP risolti sono stati considerati non consentiti)
2

Se lo stai eseguendo sullo stesso server, dovrai consentirlo tramite la variabile d’ambiente DISCOURSE_ALLOWED_INTERNAL_HOSTS.

3

L’ho fatto nell’interfaccia utente come ho visto in un precedente post simile. Ho provato anche a impostare la variabile nel mio file app.yml, ma continuo a ricevere l’errore.

Cosa potrebbe non funzionare se le mie credenziali sono corrette e riesco a utilizzare l’endpoint dell’API sull’host? Posso fare un debug più approfondito?

4

Come l’hai esattamente aggiunto all’app.yml? Si aspetta o un IP o un hostname.

5

Beh, ho testato l’endpoint con SSL all’interno di Discourse (contenitore dell’app) e funziona, ma non dal test dell’interfaccia utente di Discourse AI.

Sto utilizzando il provider ‘OpenAI’ con ‘https://llm.mydomain.tld/v1/chat/completions’ come URL. Le credenziali sono corrette:

/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:182:in 'DiscourseAi::Completions::Endpoints::Base#perform_completion!'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/open_ai_shared.rb:28:in 'DiscourseAi::Completions::Endpoints::OpenAiShared#perform_completion!'
/var/www/discourse/plugins/discourse-ai/lib/completions/llm.rb:214:in 'DiscourseAi::Completions::Llm#generate'

pitchfork-0.18.2/lib/pitchfork/soft_timeout.rb:46:in 'Pitchfork::SoftTimeout::Request#interrupt'
pitchfork-0.18.2/lib/pitchfork/soft_timeout.rb:94:in 'block (2 levels) in Pitchfork::SoftTimeout#create_timeout_thread'
pitchfork-0.18.2/lib/pitchfork/soft_timeout.rb:93:in 'Array#each'
pitchfork-0.18.2/lib/pitchfork/soft_timeout.rb:93:in 'block in Pitchfork::SoftTimeout#create_timeout_thread'

È strano, e ci sto provando da settimane.