問題は、DockerインターフェイスのMTUサイズにありました。PPPoE接続は1500バイト未満のMTUサイズです。そのため、iptablesでMSSクランプを設定する必要がありました。
iptables -A FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
ソリューションに関する詳細はこちらで確認できます: https://stackoverflow.com/a/79081640/1342413