Você pode fazer algo como importar as dependências em tempo de compilação do gem - algo como o seguinte:
hooks:
after_code:
- exec: apt-get update && apt-get install -y libmagickwand-dev
Não estamos bloqueando nada de ser instalado, apenas não estamos mais incluindo as bibliotecas estáticas das quais o gem depende na imagem base.