¡Hola, @techwithanirudh! 
Recientemente renovamos nuestro sistema de verificación de problemas para admitir más casos de uso y actualmente no tenemos un mecanismo para eliminar las notificaciones de los plugins cuando se desinstalan. Es algo en lo que estamos trabajando.
Por ahora, puedes probar los siguientes comandos de consola para eliminar las notificaciones:
ProblemCheckTracker.where(identifier: "discourse_automation").delete_all
AdminNotice.where(identifier: "discourse_automation").delete_all