Да, вы можете это сделать. Однако я рекомендую потратить немного больше времени на переход к отдельным контейнерам для веб-части и данных, чтобы у вас работал только один экземпляр Redis и PostgreSQL. Но если вас не беспокоит расход оперативной памяти и вам не нужно преимущество сокращенного времени простоя при пересборке, ваша идея вполне приемлема.
Это будет использовать немного больше оперативной памяти, чем настройка для нескольких сайтов, но позволит вам иметь разные наборы плагинов.