Aggiornato a 3.3.0.beta3-dev ieri e installato anche il plugin AI. Il plugin è attualmente abilitato solo per i membri dello staff (5 persone)
Ma l’intero sito è lentissimo, sto riscontrando errori di carico estremi. Non riesco a capire da dove provenga, il carico del mio server sembra a posto.
C’è un posto o dei posti dove posso andare per capire cosa lo sta causando.
Ecco cosa vedo nel Crawler Report, non sono sicuro se sia un bene o un male o cosa. Non ho un quadro di riferimento.
Guardando il mio server, sembra che i processi di unicorn siano piuttosto impegnati
È questa la causa? Ho bisogno di più CPU? O solo più Unicorn?
È passato un po’ di tempo dall’ultimo aggiornamento? Forse sta eseguendo qualche tipo di elaborazione o rielaborazione delle immagini.
Puoi dare un’occhiata a /sidekiq per vedere cosa sta facendo.
Code Vuote Sono Vuote
Non so bene cosa significhi il resto.
Non sono sicuro di cosa sia normale qui… Ecco le specifiche del nostro server
Ho riavviato tutto ed è tornato alla normalità, ma ora stiamo riscontrando di nuovo un carico estremo. Non riesco a capire da dove provenga il problema, ci sono strumenti che possono aiutare all’interno di Discourse?
Quindi i 3 unicorn workers
Sono impegnati… ma non stiamo ottenendo un traffico più alto del normale per quanto ne so, è più o meno lo stesso di prima, l’unica modifica è stata l’aggiornamento a 3.3.0 e l’aggiunta del plugin Ai ma è disponibile solo per lo Staff
I problemi sono iniziati ieri 03/06
Sembra che abbiamo qualche crawler in più.
Ecco solo i crawler su un mese, ma di nuovo non sembra molto più alto. Il sito è quasi inutilizzabile
Qualsiasi aiuto sarebbe apprezzato!
Questa è un’ipotesi, ma l’unica cosa che mi salta all’occhio nei log di Sidekiq è che il job mostrato è NotifyMailingListSubscribers. Quel job può potenzialmente creare molte richieste.
Inoltre, vedi errori nella tua pagina Admin / Log / Log Errori?
Ho aggiunto un blocco al crawler di Facebook perché quel tipo stava andando a tutto gas
Tuttavia, ho notato che l’aggiunta di rallentamenti / crawler non sta aggiornando il mio robots.txt
ma robots.txt non mostra le voci di rallentamento, solo le voci di blocco.
Parecchi di questi
Vedo 3 errori ma non sembrano correlati… (anche se è difficile dirlo)
Job exception: PG::DatetimeFieldOverflow: ERROR: timestamp out of range: \"271768-09-23 06:24:11.793040 BC\"
LINE 1: ...sers\".\"moderator\" = FALSE AND (users.created_at < '271768-09...
^
ActionDispatch::RemoteIp::IpSpoofAttackError (IP spoofing attack?! HTTP_CLIENT_IP=\"10.10.121.119\" HTTP_X_FORWARDED_FOR=\"14.140.10.244, 14.140.10.244\")
app/controllers/topics_controller.rb:1298:in `track_visit_to_topic'
app/controllers/topics_controller.rb:169:in `show'
app/controllers/application_controller.rb:422:in `block in with_resolved_locale'
app/controllers/application_controller.rb:422:in `with_resolved_locale'
lib/middleware/omniauth_bypass_middleware.rb:64:in `call'
lib/content_security_policy/middleware.rb:12:in `call'
lib/middleware/anonymous_cache.rb:391:in `call'
lib/middleware/csp_script_nonce_injector.rb:12:in `call'
config/initializers/008-rack-cors.rb:14:in `call'
config/initializers/100-quiet_logger.rb:20:in `call'
config/initializers/100-silence_logger.rb:29:in `call'
lib/middleware/enforce_hostname.rb:24:in `call'
lib/middleware/request_tracker.rb:291:in `call'
E un’altra job exception riguardo SMTP
Discourse esegue il proprio rate limiting, non si basa su robots.txt
Grazie Michael,
Hai altre idee su cosa potrebbe essere? Far girare più unicorni aiuterebbe?
Si fa dall’app.yml?
Sì, probabilmente aiuterebbe.
env:
UNICORN_WORKERS: 8
in app.yml farà questo.
Ti consiglio di estrarre i numeri delle prestazioni utilizzando il plugin Prometheus se lo hai configurato, oppure puoi utilizzare le intestazioni delle prestazioni.
L’analisi dei tuoi log web dovrebbe aiutare molto a identificare perché il tuo server è così occupato; sembra che i crawler siano un buon punto di partenza.
Ho aggiornato a una nuova istanza DO raddoppiando la RAM e la CPU. Ho aggiunto 8 unicorn (contro 3), ho eseguito un reindex e un vacuum del Db e penso che siamo di nuovo operativi!
Grazie per l’aiuto.
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.