機能を追加したプルリクエストに、それをオフにする設定が含まれていなかったと思います。
現在、レビューキューからではなく、管理者のプロフィールページからユーザーを削除しています。それがメールを防ぐようです。