Entendi. O comando correto para reproduzir o problema localmente é:
CI=true RAILS_ENV=test LOAD_PLUGINS=1 SKIP_DB_AND_REDIS=1 RAILS_DB=nonexistent bin/rails runner "puts 'booted successfully'"
Todas essas variáveis de ambiente são importantes. Não consegui fazer funcionar com RAILS_ENV=development. Sem CI=true e LOAD_PLUGINS=1 no modo test, parece que nem todas as classes de plugin são carregadas.