안녕하세요, @techwithanirudh! 
최근에 더 많은 사용 사례를 지원하기 위해 문제 검사 시스템을 개편했습니다. 현재 플러그인이 제거될 때 해당 플러그인의 알림을 지우는 메커니즘이 없습니다. 이 부분은 현재 작업 중인 사항입니다.
일단, 다음 콘솔 명령을 사용하여 알림을 지워보실 수 있습니다:
ProblemCheckTracker.where(identifier: "discourse_automation").delete_all
AdminNotice.where(identifier: "discourse_automation").delete_all