Il mio self host non è così "veloce" come altri siti

La raccomandazione è il 25% della RAM. Se si assegna a postgres quasi tutta la RAM, non rimarrà RAM per il web server. Questo è probabilmente il tuo problema.