Alterar uma configuração do site através do console do Rails é o mesmo que fazê-lo através da interface do usuário (apenas para as ocultas não há interface do usuário 
), então a alteração permanecerá e não será afetada por reconstruções ou reinícios, etc. 
Meu conhecimento sobre executá-los através da API não é tão bom quanto a maneira regular, mas acho que há um método de obter os 10.000 completos sem alterar a configuração no console do Rails neste tópico - Run Data Explorer queries with the Discourse API