Desmarcar esta configuração removeria a opção de resposta em todas as MPs do sistema para qualquer pessoa que não seja um administrador. Se você não quer que as pessoas possam responder às mensagens automatizadas do sistema, esta é a configuração. 
No entanto, uma abordagem alternativa poderia ser usar a configuração Nome de usuário de contato do site para que todas as mensagens do sistema sejam enviadas como a pessoa indicada e quaisquer respostas cheguem à sua caixa de entrada. Há também uma mágica elegante nesta opção, onde todas as mensagens enviadas são arquivadas automaticamente e apenas as respostas enviarão um ping.
Há também Nome do grupo de contato do site, onde um grupo indicado será incluído na mensagem também. No entanto, a desvantagem desta é que ela não tem tanta mágica e você recebe um ping para cada mensagem enviada (o que pode ser incrivelmente barulhento 
)