Muitos arquivos plugin.rb inicializam um Rails Engine, que adiciona vários itens ao caminho de carregamento.
Quando não temos um Rails Engine, você verá muitas chamadas de require_relative no topo do arquivo plugin.rb para compensar.
Acho que isso ocorre porque o instance_eval está executando o arquivo plugin.rb. Se o plugin.rb não for executado, o Rails Engine nunca será criado e os caminhos extras não serão adicionados ao load_path.