Definitivamente, añade MUCHA memoria de intercambio (swap) incluso si es solo para que vuelvas a funcionar. La ventaja de usar swap aquí es que las compilaciones son un pico temporal.
Yo uso la configuración de dos contenedores y la memoria está aún más bajo presión durante el arranque, ya que también tienes dos contenedores en ejecución. 