РЕДАКТИРОВАНИЕ: Я, кажется, разобрался, как это происходит.
Это не совсем следует правилам, или, возможно, слишком строго им следует.
Проблема в том, что если вы ссылаетесь на файл rake в plugin.rb, он, похоже, выполняется дважды, но задача rake включается даже без явной ссылки на неё, поэтому нет необходимости загружать её во время инициализации.