Есть настройка администратора «отключить рассылку писем», но она отключает все письма, что может быть слишком радикально. Также можно изменить параметр «уровень уведомлений по умолчанию» на «никогда» и применить его к прошлым данным. Если проблема затрагивает только часть пользователей, можно попросить их изменить настройки вручную (или изменить их индивидуально как администратор).
Однако я не уверен, в чём именно заключается проблема с дубликатами. Возможно, поможет очистка Sidekiq?