Eu mesmo me deparei com o mesmo problema, mas ainda não dediquei tempo para resolvê-lo. Farei isso no início desta semana e relatarei aqui o que descobrir, a menos que alguém resolva o problema para você antes disso.
Desabilite o Ember CLI para que funcione por enquanto. Acredito que o problema esteja altamente relacionado ao Ember CLI, que não consegue lidar com redirecionamentos externos.
FYI, não é Docker, mas estou usando o Ember CLI com uma configuração de desenvolvimento sem Docker na nuvem
Tudo o que precisei fazer foi redirecionar as chamadas para a porta 4200 (no meu caso, usando nginx), que se conecta ao servidor do Ember, que por sua vez se conecta ao servidor do Rails na porta 3000 (nada mudou nisso)
Isso sugere que, para Docker, você provavelmente só precisa executar o contêiner com um mapeamento de portas para enviar as chamadas recebidas à porta 4200, a fim de fazê-lo funcionar com o Ember CLI?