A revisão foi criada no idioma do meu fórum, mas em outro fórum onde esqueci de habilitar o plugin, criei o tópico via console rails e o tópico foi criado em inglês em vez de usar o idioma do fórum 
Após testar, confirmo que a revisão é criada em inglês quando executada via comando rails.
Usando
I18n.with_locale(SiteSetting.default_locale) do
Jobs::YearlyReview.new.execute(force: true, review_year: 2024)
end
corrige isso.