Olá, @techwithanirudh! 
Recentemente, reformulamos nosso sistema de verificação de problemas para dar suporte a mais casos de uso e, atualmente, não temos um mecanismo para limpar avisos de plugins quando eles são desinstalados. É algo em que estamos trabalhando.
Por enquanto, você pode tentar os seguintes comandos no console para limpar os avisos:
ProblemCheckTracker.where(identifier: "discourse_automation").delete_all
AdminNotice.where(identifier: "discourse_automation").delete_all