Tenho quase certeza de que você precisa adicionar um trecho ao seu app.yml que instrua o nginx a reconhecer seu endereço IPv6 e repassar o endereço do cliente. Ainda não consegui descobrir como fazer isso, no entanto. Os tópicos sobre execução de um proxy reverso têm exemplos de IPv6, que oferecem dicas.
Isso está na minha lista de coisas para resolver, mas tenho uma lista bastante longa. Acabei desativando o IPv6, acho que por causa desse problema, mas talvez devido a alguma outra falta de conhecimento sobre IPv6.
(Jeff, você pode obter um bloco de IPv6 roteado, mas precisa solicitá-lo e depois configurar seus hosts para usá-lo.)