Oef, ik heb het eindelijk opgelost. Het probleem lag inderdaad bij Docker en het hostnetwerk, niet bij Discourse.
Hetzner, als je een vSwitch met een publiek subnet draait, vereist dat de MTU op 1400 in plaats van 1500 ingesteld moet worden. Ik had dat op een gegeven moment wel gewijzigd, maar blijkbaar werd die wijziging op een bepaald moment teruggedraaid. Dus moest ik dat opnieuw doen en Docker herstarten met de juiste MTU.
Nu werkt de Update-Site binnen Discourse ook.
Grappig hoe al het andere de hele tijd werkte.