Esa configuración solo la oculta de la página que lista todas las insignias, por ejemplo: https://meta.discourse.org/badges. Las insignias siempre se anuncian al destinatario porque es un sistema de premios, por lo que no hay forma de hacer que ciertas insignias sean visibles solo para los administradores.
El plugin de notas de usuario es, de hecho, la mejor opción.
¿Funcionaría prohibir su dirección IP, o crees que estarían lo suficientemente enfadados o inteligentes como para eludirla usando una VPN?