完全にオフにしたい場合は、管理設定の「プレゼンスを有効にする」があります。
少し調査したところ、CSSを使用して特定のカテゴリに対して非表示を対象にできるようです。簡単にテストしましたが、期待どおりに機能するようです（SLUGはカテゴリのスラッグに置き換えてください）：
body.category-SLUG div.presence-users {
display: none;
}
CSSなので、セーフモードやブラウザインスペクターを使用して「非表示」にすることができますが、ユースケースには十分かもしれません。