Многие файлы plugin.rb инициализируют Rails Engine, который добавляет в путь загрузки различные компоненты.
Когда у нас нет Rails Engine, в начале файла plugin.rb вы увидите множество вызовов require_relative для компенсации этого.
Я думаю, это происходит потому, что instance_eval выполняет файл plugin.rb. Если файл plugin.rb не выполняется, Rails Engine никогда не создается, и дополнительные пути не добавляются в load_path.