Sim, respostas automáticas são uma boa opção, mas elas já funcionam dessa forma usando menções. Se uma categoria criar uma resposta automática, ela nunca ficará quieta. Se esses tópicos forem puramente de perguntas e respostas, isso será desejado, mas também criará muito barulho.
Caso contrário, em nível meta, você tem uma ideia muito romântica de quão capaz a IA é 