Essa configuração apenas oculta o distintivo da página que lista todos os distintivos, por exemplo: https://meta.discourse.org/badges. Os distintivos são sempre anunciados ao destinatário, pois se trata de um sistema de premiação — portanto, não há como fazer com que certos distintivos sejam visíveis apenas para administradores.
O plugin de notas do usuário é realmente o caminho a seguir!
Seria eficaz banir o IP deles, ou você acha que eles seriam bravos ou espertos o suficiente para contornar isso usando uma VPN?