Se il tuo sito Discourse è ospitato da noi, potresti aver notato un LLM chiamato CDCK Hosted Model o CDCK/MoM nelle impostazioni AI, che alimenta funzionalità come la sintesi, la ricerca AI e molto altro. Questo argomento spiega cos’è e come funziona.
La versione breve
CDCK/MoM (“Mixture of Models”, ovvero miscela di modelli) è il LLM integrato che forniamo ai clienti ospitati senza costi aggiuntivi, alimentato dalla quota giornaliera di crediti AI del tuo sito. Invece di essere un singolo modello, è uno strato di instradamento intelligente gestito da CDCK (l’azienda dietro Discourse) che invia ogni richiesta a uno di diversi modelli open-weight selezionati.
Perché una miscela di modelli?
Le diverse funzionalità AI hanno esigenze diverse. Riassumere un argomento lungo, generare il contesto per le embedding di ricerca e alimentare una persona assistente pongono richieste diverse a un modello: la lunghezza del contesto, la velocità, la profondità del ragionamento e il costo variano tutti.
Invece di vincolare ogni funzionalità a un singolo modello, CDCK/MoM instrada ogni richiesta al modello più adatto al compito. Questo ci permette di:
- Adattare il modello al compito — i compiti veloci utilizzano modelli rapidi; i compiti più pesanti utilizzano modelli più capaci.
- Rimanere aggiornati — man mano che diventano disponibili modelli migliori, possiamo aggiornare il pool dietro le quinte. Il tuo sito ne beneficia immediatamente, senza modifiche di configurazione da parte tua.
- Mantenere il servizio gratuito — un instradamento efficiente significa che possiamo includere una generosa quota giornaliera di crediti AI con i piani di hosting.
Quali modelli ci sono dietro?
Il pool attualmente consiste di:
Questa lineup evolverà nel tempo man mano che il panorama dei modelli open migliora — questo è il punto dello strato di instradamento. Aggiorniamo questo argomento man mano che il pool cambia.
Come funzionano i crediti AI?
Ogni sito ospitato con funzionalità AI abilitate riceve una quota giornaliera di crediti AI (misurata in token). L’utilizzo di CDCK/MoM attinge da questa quota, che si resetta quotidianamente. Per la maggior parte delle comunità, la quota inclusa copre comodamente l’uso quotidiano delle funzionalità AI integrate.
Maggiori informazioni sui crediti AI su Unlock All Discourse AI Features with Our Hosted LLM e i valori attuali per piano su Discourse pricing | Discourse - Civilized Discussion
Domande frequenti
Posso ancora portare il mio LLM?
Sì. CDCK/MoM è un’impostazione predefinita, non un requisito. Puoi configurare le tue chiavi API per altri provider nelle impostazioni AI e utilizzarle insieme o al posto di CDCK/MoM.
I miei risultati varieranno a seconda del modello che gestisce la mia richiesta?
I modelli nel pool sono selezionati per fornire una qualità coerente per le funzionalità che servono. L’instradamento è per compito, quindi una determinata funzionalità si comporterà in modo prevedibile.
Dove avviene l’inferenza e cosa succede ai miei dati?
L’inferenza avviene sugli stessi server e data center in cui eseguiamo l’applicazione Discourse stessa. Quando si utilizza CDCK/MoM, i tuoi dati non lasciano mai la nostra infrastruttura e non vengono condivisi con alcun provider AI di terze parti.
Domande? Chiedi pure qui sotto.