Parece que solicitações simples de arquivos estáticos, como o logotipo do Discourse, já levam muito tempo.
https://endownload.com/uploads/default/optimized/1X/_129430568242d1b7f853bb13ebea28b3f6af4e7_2_180x180.png → 14kb e 700ms
O arquivo de fonte de 342kb é servido a meros 83 kB/s, levando mais de 4 segundos. Para comparação, baixar o mesmo arquivo daqui do meta leva 0,01 segundo.
As páginas são servidas rapidamente, então minha suposição é que seu disco é lento.
Correção rápida: coloque o Cloudflare na frente
Correção melhor: obtenha outro provedor de VPS