Circa un minimo di $5 di costi aggiuntivi per l’elettricità al mese per la GPU in idle, anche se in realtà il costo incrementale per Discourse è zero poiché eseguo già l’LLM per altri scopi.
Ma di sicuro, sarebbe più economico per forum piccoli e a basso utilizzo utilizzare un LLM come servizio. Anche se per la scala dell’offerta ospitata di Discourse, sospetto che potrebbe avere senso ospitarlo internamente (e anche sviluppare conoscenze in questo settore che probabilmente saranno importanti).