Meu auto-hospedado não é tão "rápido" quanto outros sites

A recomendação é 25% da RAM. Se você der ao postgres quase toda a RAM, não sobrará RAM para o servidor web. Este é provavelmente o seu problema.