Похоже, что запросы к простым статическим файлам, например к логотипу Discourse, уже занимают очень много времени.
https://endownload.com/uploads/default/optimized/1X/_129430568242d1b7f853bb13ebea28b3f6af4e7_2_180x180.png → 14 КБ и 700 мс
Файл шрифта размером 342 КБ отдаётся со скоростью всего 83 КБ/с, что занимает более 4 секунд. Для сравнения: загрузка того же файла отсюда, с meta, занимает 0,01 секунды.
Страницы загружаются быстро, поэтому, скорее всего, проблема в медленном диске.
Быстрое решение: поставить Cloudflare перед сервером
Лучшее решение: выбрать другого провайдера VPS