Não há como definir especificamente esse limite na categoria, mas você pode usar os níveis de confiança para fazer algo semelhante.
Por exemplo, você pode alterar a configuração do site tl2 requer número de respostas ao tópico para 10 e, nas configurações da sua categoria, restringir a criação de tópicos ao Nível de Confiança 2 ou superior.
Mais informações sobre níveis de confiança aqui, caso não esteja familiarizado: Understanding Discourse Trust Levels