Se il tuo sito Discourse è ospitato da noi, potresti aver notato un LLM denominato CDCK Hosted Model o CDCK/MoM nelle impostazioni AI, che alimenta funzionalità come la sintesi, la ricerca AI e altro ancora. Questo argomento spiega di cosa si tratta e come funziona.
In breve
CDCK/MoM (“Mixture of Models”) è il LLM integrato che forniamo ai clienti ospitati senza costi aggiuntivi, alimentato dalla quota giornaliera di crediti AI del tuo sito. Invece di essere un singolo modello, è uno strato di routing intelligente gestito da CDCK (l’azienda dietro Discourse) che invia ogni richiesta a uno di diversi modelli open-weight selezionati con cura.
Perché una miscela di modelli?
Diverse funzionalità AI hanno esigenze diverse. La sintesi di un argomento lungo, la generazione di contesti per le ricerche tramite embedding e l’attivazione di una persona assistente impongono requisiti diversi al modello: lunghezza del contesto, velocità, profondità di ragionamento e costi variano tutti.
Invece di vincolare ogni funzionalità a un singolo modello, CDCK/MoM instrada ogni richiesta al modello più adatto al compito. Questo ci permette di:
- Abbinare il modello al compito — i compiti rapidi vengono gestiti da modelli veloci; i compiti più complessi da modelli più capaci.
- Rimanere aggiornati — man mano che diventano disponibili modelli migliori, possiamo aggiornare il pool in background. Il tuo sito ne beneficia immediatamente, senza che tu debba apportare modifiche alle configurazioni.
- Mantenere la gratuità — il routing efficiente ci consente di includere una generosa quota giornaliera di crediti AI nei piani di hosting.
Quali modelli ci sono dietro?
Il pool attualmente è composto da:
Questo lineup evolverà nel tempo man mano che il panorama dei modelli open migliorerà — questo è proprio lo scopo dello strato di routing. Aggiorniamo questo argomento man mano che il pool cambia.
Come funzionano i crediti AI?
Ogni sito ospitato con le funzionalità AI abilitate riceve una quota giornaliera di crediti AI (misurata in token). L’utilizzo di CDCK/MoM attinge a questa quota, che si azzera ogni giorno. Per la maggior parte delle community, la quota inclusa copre comodamente l’uso quotidiano delle funzionalità AI integrate.
Ulteriori informazioni sui Crediti AI su Unlock All Discourse AI Features with Our Hosted LLM e i valori attuali per piano su Discourse pricing | Discourse - Civilized Discussion
Domande frequenti
Posso ancora usare il mio LLM personale?
Sì. CDCK/MoM è un’impostazione predefinita, non un obbligo. Puoi configurare le tue chiavi API per altri provider nelle impostazioni AI e utilizzarle insieme a CDCK/MoM o al suo posto.
I miei risultati varieranno a seconda del modello che gestisce la mia richiesta?
I modelli nel pool sono selezionati per fornire una qualità costante per le funzionalità che servono. Il routing avviene per singolo compito, quindi una data funzionalità si comporterà in modo prevedibile.
Dove viene eseguita l’inferenza e cosa succede ai miei dati?
L’inferenza viene eseguita sugli stessi server e datacenter in cui facciamo girare l’applicazione Discourse. Quando si utilizza CDCK/MoM, i tuoi dati non lasciano mai la nostra infrastruttura e non vengono condivisi con alcun provider AI di terze parti.
Hai domande? Chiedi pure qui sotto.