В админ-панели → настройки отфильтруйте параметр auto close messages post count, чтобы задать количество постов, после которого сообщения будут автоматически закрываться.
К сведению: фильтр настроек auto close также позволил бы найти этот параметр — именно так я и нашёл его точное название.