Сбой установки: невозможно выделить память

Это единственная служба, запущенная внутри ВМ?

Какой результат у команды cat /proc/meminfo | grep MemFree?

Вы следовали инструкции по стандартной установке и запускали discourse-setup? Она должна настроить параметры памяти для конфигурации ВМ, при условии, что она соответствует минимальным требованиям.

Какие значения у db_shared_buffers, unicorn_workers и db_work_mem в вашем файле app.yml?