Lo he estado reduciendo, no parece estar relacionado con los gems, parece estar relacionado con extconf.rb. Probé con otros pocos gems con una configuración más compleja (ruby-magic y libusb), ambos no funcionan (por diferentes razones), todo lo que tienen en común son dependencias en extconf.rb.