Sí, absolutamente, tienes que darle algo de fuerza, tal vez si lo ignoran, los silencien por un día y aumenten las acciones a partir de ahí.
Pero para responder a la pregunta general, actualmente no hay una forma de aplicar restricciones basadas en usuarios o grupos a nivel de tema. Podrías crear un grupo, agregarlos a él y luego evitar que el grupo responda a los temas en toda la categoría… pero es comprensible si eso es demasiado amplio.
Hay una solicitud relacionada aquí: Restrict Topic to Specific Users, pero ten en cuenta que sería una característica bastante compleja de implementar, por lo que es poco probable que podamos priorizarla a menos que recibamos muchas solicitudes para ello.