O conceito de rastrear o status de categorias, tags e tópicos, e como eles interagem, é complicado. Acho que o status de rastreamento individual do tópico tem precedência sobre os outros, mas os outros dois dependem de outra preferência do usuário.
Portanto, é possível que o usuário tenha lido alguns tópicos, mesmo que a categoria/tag esteja silenciada.
Talvez você possa mostrar ao usuário quais categorias e tags ele silenciou. Os links para essas listas de tópicos devem mostrar os tópicos, pois eles estão olhando diretamente para a categoria silenciada.