Discourse AI causando nuovi errori SSL e Connection Reset by Peer

oznyet · 21 Febbraio 2025, 1:21pm

Priorità/Gravità:
Recenti modifiche al repository rendono Discourse AI quasi inutilizzabile con l’attuale API di OpenAI.

Piattaforma:

Self-hosted, utilizzando la build standalone standard
Host VM Ubuntu 24.04, container Docker
API OpenAI
API Anthropic

Descrizione:

Discourse AI ha chiamato un’API esterna - OpenAI con modelli funzionanti correttamente fino al 15 febbraio (ultimo rebuild del container). Oggi (21 febbraio) ho ricostruito il container e le cose non funzionano più.

Ecco cosa so:

Al 15 febbraio
Modelli OpenAI configurati e funzionanti correttamente:

LLM/Persona
- GPT4 Omni
- GPT4 Omni Mini
Embeddings
- text-embedding-ada-002

Al 21 febbraio

Tutti i modelli OpenAI hanno un tasso di errore del 70-80% circa per le chiamate LLM con il messaggio di errore “Connection Reset by Peer”. Alcune chat vanno a buon fine, altre falliscono a metà strada. Le chiamate di embedding falliscono con un errore SSL Faraday::ConnectionFailed.

Ulteriori modelli OpenAI falliscono:

o1-mini e o1-preview falliscono nel test/salvataggio dell’LLM con un errore di codice (‘developer’ non è un ruolo valido) perché il ruolo developer è valido solo per i modelli o1 e o3, non per le loro versioni -mini. Il codice sorgente github.com/discourse/discourse-ai/…/chat_gpt.rb:61 deve essere aggiornato per eseguire una corrispondenza esatta del nome del modello e non una corrispondenza starts_with. Per il caso else alla riga 73, non esiste più un utente system e deve essere aggiornato semplicemente a user. A partire da oggi, o1-mini non può utilizzare gli strumenti.

Ho provato:

Verificato i limiti della piattaforma OpenAI e siamo ben al di sotto dei Rate Limit e l’account OpenAI è finanziato.
Ricostruito il container
Eliminato e ricreato le persone e gli utenti LLM
Eliminato e ricreato i modelli LLM
Creato nuove chiavi token API
Assicurato che SSL e certificati fossero aggiornati all’interno del container
Acceduto al container e utilizzato bash & curl per chiamare l’API (con successo)
Acceduto alla console rails RAILS_ENV=production bundle exec rails console e utilizzato un oggetto http per chiamare l’API OpenAI (con successo)
Chiamate API Anthropic a claude-3.5-sonnet (con successo)

Passaggi per la riproduzione:

Crea una nuova build del container utilizzando l’ultima versione di Discourse e aggiungi il plugin Discourse AI ai plugin:

  ...
  after_code:
    - exec:
        cd: $home/plugins
        cmd:
          - git clone https://github.com/discourse/discourse-ai.git

Configura i modelli LLM e Embeddings di OpenAI con quanto segue:

GPT4 Omni, GPT4 Omni Mini
- Tutti i valori predefiniti, inserisci la tua chiave API
- Token: 64000
- Clicca “Esegui test”, attendi la risposta, a volte successo, spesso “Internal Server Error”. Quando ha successo, provare a chattare con la persona restituisce lo stack trace del modello LLM di inferenza
text-embedding-ada-002, text-embedding-3-large
- Salvataggio riuscito, genera log di errore, più ripetizioni ogni 5 minuti

Stack trace Internal Server Error

Messaggio (2 copie riportate)
Errno::ECONNRESET (Connection reset by peer)
app/controllers/application_controller.rb:427:in `block in with_resolved_locale'
app/controllers/application_controller.rb:427:in `with_resolved_locale'
lib/middleware/omniauth_bypass_middleware.rb:35:in `call'
lib/content_security_policy/middleware.rb:12:in `call'
lib/middleware/anonymous_cache.rb:409:in `call'
lib/middleware/csp_script_nonce_injector.rb:12:in `call'
config/initializers/008-rack-cors.rb:26:in `call'
config/initializers/100-quiet_logger.rb:20:in `call'
config/initializers/100-silence_logger.rb:29:in `call'
lib/middleware/enforce_hostname.rb:24:in `call'
lib/middleware/processing_request.rb:12:in `call'
lib/middleware/request_tracker.rb:385:in `call'
Backtrace
openssl (3.3.0) lib/openssl/buffering.rb:217:in `sysread_nonblock'
openssl (3.3.0) lib/openssl/buffering.rb:217:in `read_nonblock'
net-protocol (0.2.2) lib/net/protocol.rb:218:in `rbuf_fill'
net-protocol (0.2.2) lib/net/protocol.rb:199:in `readuntil'
net-protocol (0.2.2) lib/net/protocol.rb:209:in `readline'
net-http (0.6.0) lib/net/http/response.rb:625:in `read_chunked'
net-http (0.6.0) lib/net/http/response.rb:595:in `block in read_body_0'
net-http (0.6.0) lib/net/http/response.rb:570:in `inflater'
net-http (0.6.0) lib/net/http/response.rb:593:in `read_body_0'
net-http (0.6.0) lib/net/http/response.rb:363:in `read_body'
plugins/discourse-ai/lib/completions/endpoints/base.rb:374:in `non_streaming_response'
plugins/discourse-ai/lib/completions/endpoints/base.rb:160:in `block (2 levels) in perform_completion!'
net-http (0.6.0) lib/net/http.rb:2433:in `block in transport_request'
net-http (0.6.0) lib/net/http/response.rb:320:in `reading_body'
net-http (0.6.0) lib/net/http.rb:2430:in `transport_request'
net-http (0.6.0) lib/net/http.rb:2384:in `request'
rack-mini-profiler (3.3.1) lib/patches/net_patches.rb:19:in `block in request_with_mini_profiler' 
rack-mini-profiler (3.3.1) lib/mini_profiler/profiling_methods.rb:44:in `step' 
rack-mini-profiler (3.3.1) lib/patches/net_patches.rb:18:in `request_with_mini_profiler' 
(eval at /var/www/discourse/lib/method_profiler.rb:38):12:in `request'
plugins/discourse-ai/lib/completions/endpoints/base.rb:122:in `block in perform_completion!'
net-http (0.6.0) lib/net/http.rb:1632:in `start'
net-http (0.6.0) lib/net/http.rb:1070:in `start'
plugins/discourse-ai/lib/completions/endpoints/base.rb:105:in `perform_completion!'
plugins/discourse-ai/lib/completions/endpoints/open_ai.rb:44:in `perform_completion!'
plugins/discourse-ai/lib/completions/llm.rb:281:in `generate'
plugins/discourse-ai/lib/configuration/llm_validator.rb:36:in `run_test'
plugins/discourse-ai/app/controllers/discourse_ai/admin/ai_llms_controller.rb:128:in `test'
actionpack (7.2.2.1) lib/action_controller/metal/basic_implicit_render.rb:8:in `send_action'
actionpack (7.2.2.1) lib/abstract_controller/base.rb:226:in `process_action'
actionpack (7.2.2.1) lib/action_controller/metal/rendering.rb:193:in `process_action'
actionpack (7.2.2.1) lib/abstract_controller/callbacks.rb:261:in `block in process_action'
activesupport (7.2.2.1) lib/active_support/callbacks.rb:121:in `block in run_callbacks'
app/controllers/application_controller.rb:427:in `block in with_resolved_locale'
i18n (1.14.7) lib/i18n.rb:353:in `with_locale'
app/controllers/application_controller.rb:427:in `with_resolved_locale'
activesupport (7.2.2.1) lib/active_support/callbacks.rb:130:in `block in run_callbacks'
activesupport (7.2.2.1) lib/active_support/callbacks.rb:141:in `run_callbacks'
actionpack (7.2.2.1) lib/abstract_controller/callbacks.rb:260:in `process_action'
actionpack (7.2.2.1) lib/action_controller/metal/rescue.rb:27:in `process_action'
actionpack (7.2.2.1) lib/action_controller/metal/instrumentation.rb:77:in `block in process_action'
activesupport (7.2.2.1) lib/active_support/notifications.rb:210:in `block in instrument'
activesupport (7.2.2.1) lib/active_support/notifications/instrumenter.rb:58:in `instrument'
activesupport (7.2.2.1) lib/active_support/notifications.rb:210:in `instrument'
actionpack (7.2.2.1) lib/action_controller/metal/instrumentation.rb:76:in `process_action'
actionpack (7.2.2.1) lib/action_controller/metal/params_wrapper.rb:259:in `process_action'
activerecord (7.2.2.1) lib/active_record/railties/controller_runtime.rb:39:in `process_action'
actionpack (7.2.2.1) lib/abstract_controller/base.rb:163:in `process'
actionview (7.2.2.1) lib/action_view/rendering.rb:40:in `process'
rack-mini-profiler (3.3.1) lib/mini_profiler/profiling_methods.rb:115:in `block in profile_method' 
actionpack (7.2.2.1) lib/action_controller/metal.rb:252:in `dispatch'
actionpack (7.2.2.1) lib/action_controller/metal.rb:335:in `dispatch'
actionpack (7.2.2.1) lib/action_dispatch/routing/route_set.rb:67:in `dispatch'
actionpack (7.2.2.1) lib/action_dispatch/routing/route_set.rb:50:in `serve'
actionpack (7.2.2.1) lib/action_dispatch/routing/mapper.rb:32:in `block in <class:Constraints>'
actionpack (7.2.2.1) lib/action_dispatch/routing/mapper.rb:62:in `serve'
actionpack (7.2.2.1) lib/action_dispatch/journey/router.rb:53:in `block in serve'
actionpack (7.2.2.1) lib/action_dispatch/journey/router.rb:133:in `block in find_routes'
actionpack (7.2.2.1) lib/action_dispatch/journey/router.rb:126:in `each'
actionpack (7.2.2.1) lib/action_dispatch/journey/router.rb:126:in `find_routes'
actionpack (7.2.2.1) lib/action_dispatch/journey/router.rb:34:in `serve'
actionpack (7.2.2.1) lib/action_dispatch/routing/route_set.rb:896:in `call'
lib/middleware/omniauth_bypass_middleware.rb:35:in `call'
rack (2.2.11) lib/rack/tempfile_reaper.rb:15:in `call'
rack (2.2.11) lib/rack/conditional_get.rb:27:in `call'
rack (2.2.11) lib/rack/head.rb:12:in `call'
actionpack (7.2.2.1) lib/action_dispatch/http/permissions_policy.rb:38:in `call'
lib/content_security_policy/middleware.rb:12:in `call'
lib/middleware/anonymous_cache.rb:409:in `call'
lib/middleware/csp_script_nonce_injector.rb:12:in `call'
config/initializers/008-rack-cors.rb:26:in `call'
rack (2.2.11) lib/rack/session/abstract/id.rb:266:in `context'
rack (2.2.11) lib/rack/session/abstract/id.rb:260:in `call'
actionpack (7.2.2.1) lib/action_dispatch/middleware/cookies.rb:704:in `call'
actionpack (7.2.2.1) lib/action_dispatch/middleware/callbacks.rb:31:in `block in call'
activesupport (7.2.2.1) lib/active_support/callbacks.rb:101:in `run_callbacks'
actionpack (7.2.2.1) lib/action_dispatch/middleware/callbacks.rb:30:in `call'
actionpack (7.2.2.1) lib/action_dispatch/middleware/debug_exceptions.rb:31:in `call'
actionpack (7.2.2.1) lib/action_dispatch/middleware/show_exceptions.rb:32:in `call'
logster (2.20.1) lib/logster/middleware/reporter.rb:40:in `call'
railties (7.2.2.1) lib/rails/rack/logger.rb:41:in `call_app'
railties (7.2.2.1) lib/rails/rack/logger.rb:29:in `call'
config/initializers/100-quiet_logger.rb:20:in `call'
config/initializers/100-silence_logger.rb:29:in `call'
actionpack (7.2.2.1) lib/action_dispatch/middleware/request_id.rb:33:in `call'
lib/middleware/enforce_hostname.rb:24:in `call'
rack (2.2.11) lib/rack/method_override.rb:24:in `call'
actionpack (7.2.2.1) lib/action_dispatch/middleware/executor.rb:16:in `call'
rack (2.2.11) lib/rack/sendfile.rb:110:in `call'
plugins/discourse-prometheus/lib/middleware/metrics.rb:14:in `call'
rack-mini-profiler (3.3.1) lib/mini_profiler.rb:334:in `call'
lib/middleware/processing_request.rb:12:in `call'
message_bus (4.3.9) lib/message_bus/rack/middleware.rb:60:in `call'
lib/middleware/request_tracker.rb:385:in `call'
actionpack (7.2.2.1) lib/action_dispatch/middleware/remote_ip.rb:96:in `call'
railties (7.2.2.1) lib/rails/engine.rb:535:in `call'
railties (7.2.2.1) lib/rails/railtie.rb:226:in `public_send'
railties (7.2.2.1) lib/rails/railtie.rb:226:in `method_missing'
rack (2.2.11) lib/rack/urlmap.rb:74:in `block in call'
rack (2.2.11) lib/rack/urlmap.rb:58:in `each'
rack (2.2.11) lib/rack/urlmap.rb:58:in `call'
unicorn (6.1.0) lib/unicorn/http_server.rb:634:in `process_client'
unicorn (6.1.0) lib/unicorn/http_server.rb:739:in `worker_loop'
unicorn (6.1.0) lib/unicorn/http_server.rb:547:in `spawn_missing_workers'
unicorn (6.1.0) lib/unicorn/http_server.rb:143:in `start'
unicorn (6.1.0) bin/unicorn:128:in `<top (required)>'
vendor/bundle/ruby/3.3.0/bin/unicorn:25:in `load'
vendor/bundle/ruby/3.3.0/bin/unicorn:25:in `<main>'

Guardando i log, gli errori sono:

Modello Embeddings

Messaggio di errore nei log: (ogni 5 minuti) Connection reset by peer (Faraday::ConnectionFailed)

application_version: 00907363d4b290df1c755df1a2494b95265e40b4

job: Jobs::EmbeddingsBackfill

Stack trace errore modello Embeddings

Eccezione Job: 5 errori
Connection reset by peer (Faraday::ConnectionFailed)
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/openssl-3.3.0/lib/openssl/buffering.rb:217:in `sysread_nonblock'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/openssl-3.3.0/lib/openssl/buffering.rb:217:in `read_nonblock'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-protocol-0.2.2/lib/net/protocol.rb:218:in `rbuf_fill'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-protocol-0.2.2/lib/net/protocol.rb:199:in `readuntil'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-protocol-0.2.2/lib/net/protocol.rb:209:in `readline'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:625:in `read_chunked'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:595:in `block in read_body_0'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:570:in `inflater'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:593:in `read_body_0'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:363:in `read_body'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:401:in `body'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http/response.rb:321:in `reading_body'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http.rb:2430:in `transport_request'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/net-http-0.6.0/lib/net/http.rb:2384:in `request'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rack-mini-profiler-3.3.1/lib/patches/net_patches.rb:19:in `block in request_with_mini_profiler'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rack-mini-profiler-3.3.1/lib/mini_profiler/profiling_methods.rb:50:in `step'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rack-mini-profiler-3.3.1/lib/patches/net_patches.rb:18:in `request_with_mini_profil...
Backtrace
concurrent-ruby-1.3.5/lib/concurrent-ruby/concurrent/promises.rb:1268:in `raise' 
concurrent-ruby-1.3.5/lib/concurrent-ruby/concurrent/promises.rb:1268:in `wait_until_resolved!' 
concurrent-ruby-1.3.5/lib/concurrent-ruby/concurrent/promises.rb:998:in `value!' 
/var/www/discourse/plugins/discourse-ai/lib/embeddings/vector.rb:50:in `gen_bulk_reprensentations' 
/var/www/discourse/plugins/discourse-ai/app/jobs/scheduled/embeddings_backfill.rb:134:in `block in populate_topic_embeddings' 
/var/www/discourse/plugins/discourse-ai/app/jobs/scheduled/embeddings_backfill.rb:133:in `each' 
/var/www/discourse/plugins/discourse-ai/app/jobs/scheduled/embeddings_backfill.rb:133:in `each_slice' 
/var/www/discourse/plugins/discourse-ai/app/jobs/scheduled/embeddings_backfill.rb:133:in `populate_topic_embeddings' 
/var/www/discourse/plugins/discourse-ai/app/jobs/scheduled/embeddings_backfill.rb:36:in `execute' 
/var/www/discourse/app/jobs/base.rb:316:in `block (2 levels) in perform' 
rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:49:in `with_connection'
rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in `with_connection'
/var/www/discourse/app/jobs/base.rb:303:in `block in perform' 
/var/www/discourse/app/jobs/base.rb:299:in `each' 
/var/www/discourse/app/jobs/base.rb:299:in `perform' 
/var/www/discourse/app/jobs/base.rb:379:in `perform' 
mini_scheduler-0.18.0/lib/mini_scheduler/manager.rb:137:in `process_queue' 
mini_scheduler-0.18.0/lib/mini_scheduler/manager.rb:77:in `worker_loop' 
mini_scheduler-0.18.0/lib/mini_scheduler/manager.rb:63:in `block (2 levels) in ensure_worker_threads'

Modello LLM di inferenza

Messaggio di errore nei log: Eccezione Job: Connection reset by peer

application_version: 00907363d4b290df1c755df1a2494b95265e40b4

job: Jobs::CreateAiReply

Stack trace errore modello LLM

Messaggio
Eccezione Job: Connection reset by peer
Backtrace
openssl-3.3.0/lib/openssl/buffering.rb:217:in `sysread_nonblock' 
openssl-3.3.0/lib/openssl/buffering.rb:217:in `read_nonblock' 
net-protocol-0.2.2/lib/net/protocol.rb:218:in `rbuf_fill' 
net-protocol-0.2.2/lib/net/protocol.rb:199:in `readuntil' 
net-protocol-0.2.2/lib/net/protocol.rb:209:in `readline' 
net-http-0.6.0/lib/net/http/response.rb:625:in `read_chunked' 
net-http-0.6.0/lib/net/http/response.rb:595:in `block in read_body_0' 
net-http-0.6.0/lib/net/http/response.rb:570:in `inflater' 
net-http-0.6.0/lib/net/http/response.rb:593:in `read_body_0' 
net-http-0.6.0/lib/net/http/response.rb:363:in `read_body' 
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:374:in `non_streaming_response' 
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:160:in `block (2 levels) in perform_completion!' 
net-http-0.6.0/lib/net/http.rb:2433:in `block in transport_request' 
net-http-0.6.0/lib/net/http/response.rb:320:in `reading_body' 
net-http-0.6.0/lib/net/http.rb:2430:in `transport_request' 
net-http-0.6.0/lib/net/http.rb:2384:in `request' 
rack-mini-profiler-3.3.1/lib/patches/net_patches.rb:19:in `block in request_with_mini_profiler' 
rack-mini-profiler-3.3.1/lib/mini_profiler/profiling_methods.rb:50:in `step' 
rack-mini-profiler-3.3.1/lib/patches/net_patches.rb:18:in `request_with_mini_profiler' 
(eval at /var/www/discourse/lib/method_profiler.rb:38):5:in `request'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:122:in `block in perform_completion!' 
net-http-0.6.0/lib/net/http.rb:1632:in `start' 
net-http-0.6.0/lib/net/http.rb:1070:in `start' 
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:105:in `perform_completion!' 
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/open_ai.rb:44:in `perform_completion!' 
/var/www/discourse/plugins/discourse-ai/lib/completions/llm.rb:281:in `generate' 
/var/www/discourse/plugins/discourse-ai/lib/ai_bot/bot.rb:65:in `get_updated_title' 
/var/www/discourse/plugins/discourse-ai/lib/ai_bot/playground.rb:252:in `title_playground' 
/var/www/discourse/plugins/discourse-ai/lib/ai_bot/playground.rb:561:in `ensure in reply_to' 
/var/www/discourse/plugins/discourse-ai/lib/ai_bot/playground.rb:561:in `reply_to' 
/var/www/discourse/plugins/discourse-ai/app/jobs/regular/create_ai_reply.rb:18:in `execute' 
/var/www/discourse/app/jobs/base.rb:316:in `block (2 levels) in perform' 
rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:49:in `with_connection'
rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in `with_connection'
/var/www/discourse/app/jobs/base.rb:303:in `block in perform' 
/var/www/discourse/app/jobs/base.rb:299:in `each' 
/var/www/discourse/app/jobs/base.rb:299:in `perform' 
sidekiq-6.5.12/lib/sidekiq/processor.rb:202:in `execute_job' 
sidekiq-6.5.12/lib/sidekiq/processor.rb:170:in `block (2 levels) in process' 
sidekiq-6.5.12/lib/sidekiq/middleware/chain.rb:177:in `block in invoke' 
/var/www/discourse/lib/sidekiq/pausable.rb:132:in `call' 
sidekiq-6.5.12/lib/sidekiq/middleware/chain.rb:179:in `block in invoke' 
sidekiq-6.5.12/lib/sidekiq/middleware/chain.rb:182:in `invoke' 
sidekiq-6.5.12/lib/sidekiq/processor.rb:169:in `block in process' 
sidekiq-6.5.12/lib/sidekiq/processor.rb:136:in `block (6 levels) in dispatch' 
sidekiq-6.5.12/lib/sidekiq/job_retry.rb:113:in `local' 
sidekiq-6.5.12/lib/sidekiq/processor.rb:135:in `block (5 levels) in dispatch' 
sidekiq-6.5.12/lib/sidekiq.rb:44:in `block in <module:Sidekiq>' 
sidekiq-6.5.12/lib/sidekiq/processor.rb:131:in `block (4 levels) in dispatch' 
sidekiq-6.5.12/lib/sidekiq/processor.rb:263:in `stats' 
sidekiq-6.5.12/lib/sidekiq/processor.rb:126:in `block (3 levels) in dispatch' 
sidekiq-6.5.12/lib/sidekiq/job_logger.rb:13:in `call' 
sidekiq-6.5.12/lib/sidekiq/processor.rb:125:in `block (2 levels) in dispatch' 
sidekiq-6.5.12/lib/sidekiq/job_retry.rb:80:in `global' 
sidekiq-6.5.12/lib/sidekiq/processor.rb:124:in `block in dispatch' 
sidekiq-6.5.12/lib/sidekiq/job_logger.rb:39:in `prepare' 
sidekiq-6.5.12/lib/sidekiq/processor.rb:123:in `dispatch' 
sidekiq-6.5.12/lib/sidekiq/processor.rb:168:in `process' 
sidekiq-6.5.12/lib/sidekiq/processor.rb:78:in `process_one' 
sidekiq-6.5.12/lib/sidekiq/processor.rb:68:in `run' 
sidekiq-6.5.12/lib/sidekiq/component.rb:8:in `watchdog' 
sidekiq-6.5.12/lib/sidekiq/component.rb:17:in `block in safe_thread'

Qualsiasi idea, suggerimento, ecc. sarà molto gradito

Falco · 21 Febbraio 2025, 3:43pm

Abbiamo effettuato oltre 2.000 richieste all’API OpenAI su questo sito nell’ultimo mese e non abbiamo errori simili nei nostri log.

Sono entrato in un altro sito che ospitiamo, che utilizza ampiamente OpenAI, con 80.000 richieste nell’ultimo mese e hanno zero errori Faraday, e solo due errori “Connection Reset by Peer” nel periodo.

È possibile che ci sia qualcosa di difettoso nella rete del tuo server? Ho avuto Errno::ECONNRESET (Connection reset by peer) una volta a causa di un driver NIC difettoso.

Ci guarderò.

oznyet · 23 Febbraio 2025, 11:33pm

Come hai scritto, inizialmente pensavo fosse un problema dello stack di rete, tuttavia le chiamate ripetute all’API OpenAI dallo stesso container funzionano bene.

Questo è anche con una build molto recente, commit del 21 febbraio.
Per dimostrarlo (a costo di bruciare token), ho preparato un rapido script per verificare lo stack di rete di OpenAI.

Esegue per 600 secondi (10 minuti)
Effettua una chiamata di completamento chat al secondo
Cambia il prompt per evitare la cache

Esegui all’interno del container ./launcher enter app, salva lo script seguente, rendilo eseguibile con chmod +x test_openai.sh e poi chiamalo con OPENAI_API_KEY=.... ./test_openai.sh

test_openai.sh

#!/bin/bash

# Durata dell'esecuzione
DURATION_SECS=600

# Inizializza i contatori
successful=0
unsuccessful=0
declare -A error_messages

# Funzione per calcolare la percentuale
calc_percentage() {
    local total=$(($1 + $2))
    if [ $total -eq 0 ]; then
        echo "0.00"
    else
        echo "scale=2; ($2 * 100) / $total" | bc
    fi
}

# Funzione per stampare le statistiche
print_stats() {
    local percent=$(calc_percentage $successful $unsuccessful)
    echo "-------------------"
    echo "Chiamate riuscite: $successful"
    echo "Chiamate fallite: $unsuccessful"
    echo "Tasso di fallimento: ${percent}%"
    echo "Messaggi di errore:"
    for error in "${!error_messages[@]}"; do
        echo "  - $error (${error_messages[$error]} volte)"
    done
}

end_time=$((SECONDS + DURATION_SECS))

counter=1
while [ $SECONDS -lt $end_time ]; do
    # Effettua la chiamata API con timeout
    response=$(curl -s -w "\n%{http_code}" \
        -X POST \
        -H "Content-Type: application/json" \
        -H "Authorization: Bearer $OPENAI_API_KEY" \
        -d "{
            \"model\": \"gpt-4o-mini\",
            \"messages\": [{\"role\": \"user\", \"content\": \"Usa questo numero per scegliere una risposta di una sola parola: $counter\"}]
        }" \
        --connect-timeout 5 \
        --max-time 10 \
        https://api.openai.com/v1/chat/completions 2>&1)

    # Ottieni l'ultima riga (codice di stato) e il corpo della risposta
    http_code=$(echo "$response" | tail -n1)
    body=$(echo "$response" | sed '$d')

    # Verifica se la chiamata è andata a buon fine
    if [ "$http_code" = "200" ]; then
        ((successful++))
    else
        ((unsuccessful++))
        # Estrai il messaggio di errore
        error_msg=$(echo "$body" | grep -o '"message":"[^"]*"' | cut -d'"' -f4)
        if [ -z "$error_msg" ]; then
            error_msg="Errore di connessione: $body"
        fi
        # Incrementa il contatore del messaggio di errore
        ((error_messages["$error_msg"]++))
    fi

    # Stampa le statistiche correnti
    print_stats

    ((counter++))
    
    # Attendi 1 secondo prima della prossima chiamata
    sleep 1
done

Per lo script di test, il mio tasso di fallimento è stato inferiore allo 0,5%, il che è accettabile a quella scala.
Questo mi dice che il problema risiede nel software Discourse piuttosto che nel container o nello stack di rete che lo alimenta.

Se non è stato risolto con un commit recente, darò un’occhiata più approfondita.

sam · 24 Febbraio 2025, 5:40am

Ho corretto la regressione relativa a o1-mini e o1-preview qui:

Tuttavia, sono confuso riguardo ai problemi SSL, non abbiamo cambiato nulla nella nostra libreria sottostante qui.

Forse è correlato allo streaming, prova a disabilitare lo streaming sul tuo LLM OpenAI e vedi se questo si risolve da solo? il tuo test lì sta usando gpt-4o-mini senza usare lo streaming.

oznyet · 25 Febbraio 2025, 10:05am

Fantastico! Ben fatto!

Nel processo di diagnosi, ho trovato un altro bug: nella pagina di configurazione LLM (/admin/plugins/discourse-ai/ai-llms/%/edit), selezionando una delle opzioni "Disabilita il supporto nativo degli strumenti (usa strumenti basati su XML) (facoltativo)" o "Disabilita il completamento in streaming (converti le richieste in streaming in richieste non in streaming)" e facendo clic su Salva viene visualizzato un toast temporaneo "Successo!", ma ricaricando la pagina entrambe o una delle opzioni risulta deselezionata.

I problemi di reimpostazione della connessione persistono e ci sto ancora lavorando, tuttavia sembra essere una combinazione del codice Ruby (FinalDestination / risoluzione DNS / Faraday) nella gestione dei socket, combinato con un container Debian 12 su una VM Ubuntu 24.04.

Ho avviato una VM di test Ubuntu 22.04 e non ci sono problemi, tutti gli embedding e l’inferenza funzionano perfettamente. Non ho visto un singolo reset.

Continuerò a lavorarci, forse è correlato a un modo innovativo con cui Ubuntu 24.04 gestisce lo stack TCP con netplan.

sam · 25 Febbraio 2025, 10:07am

Grazie, ho risolto la persistenza oggi, puoi aggiornare e riprovare

oznyet · 26 Febbraio 2025, 6:45am

Okay, un piccolo aggiornamento: non siamo riusciti a far funzionare la connessione diretta all’API OpenAI sull’intervallo IP aziendale. Cloudflare inviava pacchetti RST circa 1 ms dopo TLS.

Quindi abbiamo configurato un Cloudflare AI Gateway come sostituzione drop-in dell’endpoint API OpenAI tramite URL e funziona perfettamente con la configurazione LLM.

Sembra che Cloudflare abbia una policy di rate limiting non documentata per intervalli IP sconosciuti (cioè non Azure, AWS, GCP, ecc.) che si attiva. Il pool di 100 connessioni per Embeddings farebbe scattare quel limite.

A parte questo, Cloudflare ha una funzionalità Authenticated Gateway che aggiunge un token di intestazione speciale.

Dalla loro documentazione:

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/openai/chat/completions \
  --header 'cf-aig-authorization: Bearer {CF_AIG_TOKEN}' \
  --header 'Authorization: Bearer OPENAI_TOKEN' \
  --header 'Content-Type: application/json' \
  --data '{\"model\": \"gpt-4o\" .......

Sarebbe fantastico se ci fosse una funzionalità per aggiungere intestazioni per LLM nella schermata di configurazione LLM.

In questo modo potremmo aggiungere la chiave e il valore cf-aig-authorization all’LLM per ogni chiamata che facciamo.

sam · 26 Febbraio 2025, 8:47pm

Questo è un problema difficile, è un’interfaccia utente notevole da gestire per un caso limite.

C’è qualche possibilità che tu possa provare openrouter.ai, potrebbe anche risolvere questo problema?

Non sono categoricamente contrario a consentire header arbitrari, ma è una configurazione molto avanzata. Forse se fosse dietro un’impostazione del sito nascosta andrebbe bene (impostazione del sito per abilitare l’interfaccia utente avanzata).

Questa è una contribuzione che la tua azienda potrebbe aiutare a promuovere per il plugin open source?

oznyet · 5 Aprile 2025, 9:32am

Non sono riuscito a ottenere l’approvazione per un contributo, tuttavia continueremo a provarci. Grazie per l’aiuto finora!

Argomento		Risposte	Visualizzazioni
Internal Server Error 500- Manual configuration [ Discourse AI] Support ai	8	243	Settembre 5, 2025
Getting discourse ai to work with ollama locally Support ai	15	581	Aprile 6, 2025
Discourse AI Internal Server Error Support ai	3	117	Aprile 8, 2025
Calls to Open AI API failed Support ai	2	380	Giugno 25, 2024
Discourse AI with local ollama Internal Server Error Bug ai	2	103	Dicembre 28, 2025