Obrigado @JammyDodger!
De alguma forma perdi isso ao pesquisar.
Embora pareça que o e-mail usado para esta configuração deve estar listado publicamente na página /about.
Deixei ‘contact_email’ vazio (optando por usar contact_url), o que explica por que não tenho recebido esses e-mails.
Acho que o e-mail usado para alertas críticos administrativos não deveria ser o mesmo que o e-mail listado publicamente para e-mails de suporte/contato geral.
Um e-mail faria mais sentido ir para um sistema de tickets de suporte, enquanto o outro deveria ir para o administrador do servidor.