Привет, @humblebumble
Судя по всему, плагин не поддерживает комментарии к задачам (issues) на GitHub, несмотря на то что issue_comment указан как подписанное событие вебхука в документации плагина. Архитектура плагина изначально заточена только под коммиты и PR. Обычные задачи GitHub не то же самое, что PR, и в этом случае плагин будет молча терпеть неудачу.
Существует открытый запрос на добавление этой функции — вы можете проголосовать за него:
Но если у вас есть бюджет, лучший прямой путь — обратиться в канал Marketplace.