Infelizmente, mesmo que o motivo da lentidão seja este plugin, devo dizer que ele é um dos principais plugins da nossa comunidade e não pode ser removido de forma alguma, pois os usuários dependem muito dele! 
Atualmente, usamos 24 workers web. Nosso Discourse está instalado em uma VM com 24 núcleos de CPU, 2 GHz de capacidade de processamento e 24 GB de RAM. Infelizmente, não é possível alterar o servidor principal agora, a menos que não haja outra maneira de melhorar o desempenho.
Você acha que, na situação atual, aumentar o número de workers web pode ajudar a melhorar o desempenho?