EDITAR: Creo que he descubierto cómo sucede esto.
No sigue realmente la convención, o quizás demasiado.
El problema es si haces referencia al archivo rake en plugin.rb, parece que se ejecuta dos veces, pero la tarea rake se incluye incluso si no la haces referencia, por lo que no es necesario cargarla durante la inicialización.