Acho que adicionar uma configuração de site ainda é bem-vindo, mas não está em nossa lista no momento. Marcarei este tópico como pr-welcome para sinalizar mais claramente que estamos abertos a adicionar isso.
Uma abordagem que você pode experimentar com os recursos existentes hoje é configurar categorias para fechar tópicos automaticamente após um certo período de tempo (algo inferior a 3 anos).
Tópicos fechados têm um peso menor do que os abertos na pesquisa de relevância (veja algumas discussões recentes sobre isso aqui).