No estoy viendo este comportamiento cuando le di una prueba. Cuando asigné una publicación a mi usuario de prueba, pudieron ver la nota y no eran el OP.
¿Hay algo diferente en tu configuración o en los grupos/usuarios que estás asignando que podría marcar la diferencia?