Eles apareceriam em uma seção abaixo de administradores e moderadores, com o nome da categoria os designando como moderadores para aquela categoria.
Você poderia usar CSS para ocultar isso.
Talvez espere para ver se mais alguém apresenta uma solução mais aceitável se isso parecer uma mudança muito grande.
Aprender sobre níveis de confiança é sempre bom, eu começaria aqui e depois talvez daria uma olhada na tabela de permissões.