Cambiar una configuración del sitio a través de la consola de Rails es lo mismo que hacerlo a través de la interfaz de usuario (solo que para las ocultas no hay interfaz de usuario 
), por lo que el cambio persistirá y no se verá afectado por reconstrucciones o reinicios, etc. 
Mi conocimiento sobre cómo ejecutarlos a través de la API no es tan bueno como el de la forma habitual, pero creo que hay un método para obtener los 10.000 completos sin cambiar la configuración en la consola de Rails en este tema: Run Data Explorer queries with the Discourse API