Simplemente cambiaría todos los permisos de categoría a solo para el personal. Con una buena explicación en algún lugar (por supuesto).
Es posible que desees ejecutar una consulta de explorador de datos para registrar tus permisos existentes primero, y si tu foro es grande/complejo, quizás hacerlo todo desde la consola de Rails como una acción masiva.
Eso lograría lo que necesitas. Y podrías revelar el contenido a medida que se limpia, categoría por categoría.