Pelo que vi, o plugin não suporta comentários em issues do GitHub, mesmo com issue_comment listado como um evento de webhook assinado na documentação do plugin. O plugin foi arquitetado apenas para commits e PRs. Issues regulares do GitHub não são a mesma coisa que PRs e falharão silenciosamente.
Há uma solicitação de recurso aberta para isso; você pode adicionar seu voto:
Mas, se você tiver orçamento, perguntar em Marketplace é provavelmente a rota direta mais adequada disponível.