Acabei de seguir as etapas acima em um tópico sem respostas aninhadas.
Como você pode ver abaixo do modal, a publicação já havia sido sinalizada para moderação pelo usuário e clicar no modal de sinalização novamente resulta em:
Ao verificar as configurações do meu site, allow_all_users_to_flag_illegal_content pode ser o que permite aos usuários ainda sinalizar como ilegal após escolher outra opção.