Posso estar um pouco atrasado 
Estou encontrando o mesmo problema em um novo plugin e pesquisei um pouco. Parece que esse problema afeta outros plugins também (por exemplo: o plugin oficial de chat), mas encontrei uma solução funcional para evitar que as tarefas sejam registradas várias vezes:
# Limpa qualquer registro anterior
task('import_json:preview').clear
# Definição da tarefa
desc 'Previews changes which would be applied by import_json'
task 'import_json:preview', [:file_path] => :environment do |_task, args|
puts "Hello world!"
end
Limpar após a descrição da tarefa impedirá que a tarefa seja listada com rake --tasks, então ela deve ser limpa antes.