Uma nova versão Estável é lançada aproximadamente duas vezes por ano, então se você puder esperar alguns meses, poderá aguardar o lançamento da próxima versão Estável. 
Não tenho 100% de certeza se isso fará com que tudo volte a funcionar automaticamente, pois pode ser uma atualização instável considerando que você tem a versão 3.1.0beta4 em vez da 3.0.3 Estável, mas acho que pode dar certo. 
Ou você pode voltar a usar tests-passed no seu app.yml e ter uma versão atualizada que deve resolver tudo. Só para verificar, esta é uma instalação padrão?