El icono funciona si ya no te gusta, pero no cuando sí te gusta.
Mirando el código, cuando ya te gustó:
Cuando aún no te ha gustado:
https://github.com/discourse/discourse-reactions/blob/main/assets/javascripts/discourse/widgets/discourse-reactions-reaction-button.js#L130-L136
Espera una versión far—, que no parece existir para beer. 
Una solución rápida en tu caso es usar la API para reemplazar far-beer, por ejemplo:
<script type="text/discourse-plugin" version="0.8">
api.replaceIcon("far-beer", "beer");
</script>
No sé si se debería introducir una nueva configuración aquí o añadir alguna lógica para usar la misma versión no-far si la versión far no existe.