Я сузил круг поиска: похоже, проблема не связана с гемами, а связана с extconf.rb. Я попробовал несколько других гемов со сложной настройкой (ruby-magic и libusb), и оба не работают (по разным причинам). Общим у них являются зависимости в файле extconf.rb.