Adicione definitivamente MUITO espaço de troca (swap), mesmo que seja apenas para que você volte a funcionar. A vantagem de usar swap aqui é que as compilações são um pico temporário.
Eu uso a configuração de dois contêineres e a memória fica ainda mais sob pressão durante a inicialização, pois você também tem dois contêineres em execução. 