Esto prácticamente haría que todos los temas “antiguos” murieran. Solo obtendrías temas recién creados y aquellos sin ningún “hueco” o “período de enfriamiento” (cuando no hubo respuestas) en tus últimos temas. Parecería ir en contra del deseo habitual de no crear siempre nuevos temas, sino primero buscar los existentes para continuar, ¿no crees? Pero quizás sí tengas un caso de uso para esto. (Puedo ver cómo tus últimos temas podrían empezar a agotarse si no hay suficientes temas nuevos o temas con respuestas constantes, aunque).
No conozco ninguna configuración que permita esto (=Si no recuerdo mal, no la hay. Como se dijo, parece bastante contra intuitivo querer gestionar un foro de esta manera, excepto en casos de uso especiales). Podrías lograr esto con algún código personalizado o plugin.
Nota: Había creado un tema sobre los empujones cuando se edita la última publicación, pero esto no parece ser en absoluto lo que buscas. ( "No bump" option when editing last post in a topic? )
EDITO: Solo estoy pensando en esto: La funcionalidad que te informa de que ya existen algunos temas cuando quieres crear uno nuevo incluso parecería ir en contra de lo que quieres hacer.