Parece que las solicitudes simples de archivos estáticos, como el logotipo de Discourse, ya tardan mucho tiempo.
https://endownload.com/uploads/default/optimized/1X/_129430568242d1b7f853bb13ebea28b3f6af4e7_2_180x180.png → 14kb y 700ms
El archivo de fuente de 342kb se sirve a unos escasos 83 kB/s, tardando más de 4 segundos. A modo de comparación, descargar ese mismo archivo desde aquí en meta tarda 0,01 segundos.
Las páginas se cargan rápidamente, así que supongo que es tu disco el que es lento.
Solución rápida: pon Cloudflare delante
Mejor solución: consigue otro proveedor de VPS