Hola @humblebumble
Por lo que puedo ver, el plugin no admite comentarios en issues de GitHub, a pesar de que issue_comment aparece listado como un evento de webhook suscrito en la documentación del plugin. El plugin está diseñado arquitectónicamente solo para commits y PRs. Los issues regulares de GitHub no son lo mismo que los PRs y fallarán silenciosamente.
Hay una solicitud de función abierta para esto a la que te gustaría sumar tu voto:
Pero si tienes presupuesto, preguntar en Marketplace es probablemente la ruta directa más efectiva disponible.