Olá,
Como administrador, você pode acessar as configurações da categoria
E então rolar para baixo para encontrar a ação de exclusão:
Isso funciona para qualquer categoria, incluindo as padrão.
(Se você tiver o chat ativado, também precisará primeiro excluir os canais de chat que pertencem a esta categoria. Se a categoria tiver tópicos, você precisará excluí-los todos também, ou movê-los)
Posso perguntar qual é o caso de uso para querer excluir essas categorias? Se você não gosta do nome ou ícone delas, também pode apenas alterá-los.

