Понял. Правильная команда для воспроизведения проблемы локально:
CI=true RAILS_ENV=test LOAD_PLUGINS=1 SKIP_DB_AND_REDIS=1 RAILS_DB=nonexistent bin/rails runner "puts 'booted successfully'"
Все эти переменные окружения важны. У меня не получилось запустить это в режиме RAILS_ENV=development. Без CI=true и LOAD_PLUGINS=1 в режиме test похоже, что не все классы плагинов загружаются.