Sinto muito, @Faizan_Zahid, mas você poderia ter escolhido um título melhor. Talvez você quisesse dizer “plugins” e não “Discourse”. Eu estava esperando alguém pedindo uma funcionalidade para remover o Discourse de um servidor 
Você quer poder instalar/desinstalar plugins sem precisar reconstruir. Parece que não é possível, infelizmente 
Então, você gostaria de minimizar o tempo de inatividade ao precisar reconstruir. Isso já foi um tema ultimamente: Ajuda com configuração de “tempo de inatividade zero” (o que não evoluiu muito para onde provavelmente deveria ter ido).
O que talvez precisemos aqui é de um bom tutorial sobre como configurar uma instalação com 2 containers web e como usá-la. Essa parece ser a configuração mais eficiente (e também provavelmente a mais complicada). Não tenho conhecimento suficiente para fazer um tutorial assim, mas se tivesse, faria. Alguém se voluntaria?