Cerca de um mínimo de US$ 5 em custos adicionais de eletricidade por mês para a GPU ociosa - embora, na realidade, o custo incremental para o Discourse seja zero, já que eu já executo o LLM para outros fins.
Mas, com certeza, seria mais econômico para fóruns pequenos e de baixo uso usar um LLM como serviço. Embora, para a escala da oferta hospedada do Discourse, eu suspeite que possa fazer sentido hospedá-lo internamente (e também desenvolver conhecimento nessa área que provavelmente será importante).