EDIT: Acho que descobri como isso acontece.
Não está realmente seguindo a convenção, ou talvez demais.
O problema é se você referenciar o arquivo rake em plugin.rb, ele parece rodar duas vezes, mas a tarefa rake é incluída mesmo que você não a referencie, então não há necessidade de carregá-la durante a inicialização.