Finalmente tive tempo para atualizar para 3.5.0.beta9-dev (df03ef6d05)
Sou uma instalação padrão auto-hospedada
Editei meu app.yml para remover as linhas de plugin (conforme o conselho de Dan acima) e depois prossegui para iniciar o processo de atualização. Tive que atualizar o gerenciador do docker antes de todo o resto, como de costume, e isso correu normalmente. Assim que o gerenciador do docker foi atualizado, fui recebido por uma nova mensagem (para mim).
Eu já tinha feito uma reconstrução anteriormente, então sabia como e como o putty ainda estava aberto no meu servidor, não foi um inconveniente, mas fiquei um pouco surpreso por não poder usar a interface do usuário para fazer a atualização. Estou apenas postando isso como um aviso para outros noobs de auto-hospedagem como eu. Fora isso, a atualização correu bem, tudo funciona. Obrigado equipe e comunidade.