@JammyDodger さん、ありがとうございます！
検索時に見落としていたようです。
この設定に使用するメールは、/about ページに公開されている必要があるようです。
contact_email を空にして（contact_url を使用するように選択）、これらのメールを受信していなかった理由がわかりました。
ただし、管理上の重要なアラートに使用されるメールと、サポート/一般連絡用のメールとして公開されるメールは同じではない方が良いと思います。
1つのメールはサポートチケットシステムに、もう1つはサーバー管理者に送信される方が理にかなっています。