Se il tuo sito Discourse è ospitato da noi, potresti aver notato nelle impostazioni AI un LLM chiamato CDCK Hosted Model oppure CDCK/MoM, che alimenta funzionalità come riassunti, ricerca AI e molto altro. Questo argomento spiega cos’è e come funziona.
In breve
CDCK/MoM (“Mixture of Models”, miscela di modelli) è l’LLM integrato che forniamo ai clienti in hosting senza costi aggiuntivi, alimentato dalla quota giornaliera di crediti AI del tuo sito. Invece di essere un singolo modello, si tratta di un livello di routing intelligente gestito da CDCK (l’azienda dietro Discourse) che indirizza ogni richiesta a uno di diversi modelli open-weight selezionati.
Perché una miscela di modelli?
Le diverse funzionalità AI hanno esigenze diverse. Riassumere un argomento lungo, generare embeddings per il contesto di ricerca o gestire una personalità assistente richiedono ciascuna qualcosa di diverso dal modello — lunghezza del contesto, velocità, profondità di ragionamento e costi variano tutti.
Invece di vincolare ogni funzionalità a un singolo modello, CDCK/MoM indirizza ogni richiesta al modello più adatto al compito. Questo ci permette di:
- Adattare il modello al compito — i compiti rapidi utilizzano modelli veloci; quelli più impegnativi usano modelli più potenti.
- Restare aggiornati — man mano che modelli migliori diventano disponibili, possiamo aggiornare il pool dietro le quinte. Il tuo sito ne beneficia immediatamente, senza alcuna modifica alla configurazione da parte tua.
- Mantenerlo gratuito — un routing efficiente ci consente di includere un generoso quantitativo giornaliero di crediti AI nei piani di hosting.
Quali modelli ci sono dietro?
Attualmente il pool è composto da:
Questo elenco evolverà nel tempo man mano che il panorama dei modelli open-source migliora — è proprio lo scopo del livello di routing. Aggiorniamo questo argomento al variare del pool.
Come funzionano i crediti AI?
Ogni sito in hosting con le funzionalità AI attivate riceve una quota giornaliera di crediti AI (misurati in token). L’utilizzo di CDCK/MoM attinge da questa quota, che si ripristina ogni giorno. Per la maggior parte delle community, la quota inclusa copre comodamente l’uso quotidiano delle funzionalità AI integrate.
Per maggiori informazioni sui Crediti AI visita Unlock All Discourse AI Features with Our Hosted LLM e i valori attuali per piano su Discourse pricing | Discourse - Civilized Discussion
Domande frequenti
Posso comunque usare un LLM mio?
Sì. CDCK/MoM è un’opzione predefinita, non un obbligo. Puoi configurare le tue chiavi API per altri provider nelle impostazioni AI e usarle insieme o al posto di CDCK/MoM.
I risultati varieranno a seconda del modello che gestisce la mia richiesta?
I modelli nel pool sono selezionati per offrire una qualità costante per le funzionalità a cui sono destinati. Il routing avviene per singolo compito, quindi una determinata funzionalità si comporterà in modo prevedibile.
Dove viene eseguita l’inferenza e cosa succede ai miei dati?
L’inferenza viene eseguita sugli stessi server e negli stessi data center in cui eseguiamo l’applicazione Discourse. Quando usi CDCK/MoM, i tuoi dati non lasciano mai la nostra infrastruttura e non vengono condivisi con alcun provider AI di terze parti.
Hai domande? Chiedi pure qui sotto.