Puedes hacer algo como incorporar las dependencias en tiempo de compilación de la gema, algo como lo siguiente:
hooks:
after_code:
- exec: apt-get update && apt-get install -y libmagickwand-dev
No estamos bloqueando nada de la instalación, solo ya no incluimos las bibliotecas estáticas de las que depende la gema en la imagen base.