¡Gracias @JammyDodger!
De alguna manera me perdí eso al buscar.
Aunque parece que el correo electrónico utilizado para esta configuración debe aparecer públicamente en la página /about.
Dejé ‘contact_email’ vacío (optando por usar contact_url), lo que explica por qué no he estado recibiendo estos correos electrónicos.
Creo que el correo electrónico utilizado para las alertas críticas administrativas no debería ser el mismo que el correo electrónico que aparece públicamente para los correos electrónicos de soporte/contacto general.
Un correo electrónico tendría más sentido que fuera a un sistema de tickets de soporte, mientras que el otro debería ir al administrador del servidor.