この機能のロジックの大部分は、すでに非公開返信プラグインに実装されています。返信が表示されるタイミングに関するビジネスルールを変更するだけで済むはずですが、すでにいくつか（論理的ではない）設定をいじれば実現できる可能性もあります。