Estou reduzindo as possibilidades, não parece estar relacionado às gems, parece estar relacionado ao extconf.rb. Tentei com algumas outras gems com uma configuração mais complexa (ruby-magic e libusb), ambas não funcionam (por motivos diferentes), tudo o que elas têm em comum são dependências no extconf.rb.