Я и @angus обсудили это и нашли очень простое решение проблемы. Похоже, что оно работает корректно.
Вынесение кода on() за пределы after_initialize решает проблему. Мне кажется, что так должны поступать все плагины. Думаю, проблема была на нашей стороне.
Причина, по которой это работает, заключается в том, что выполнение переходит в файл plugin.rb до запуска инициализаторов Rails, поэтому колбэки on() регистрируются до того, как вебхуки будут помещены в очередь.