Nous sommes ravis d’annoncer que nos clients hébergés peuvent désormais alimenter chaque fonctionnalité d’IA de Discourse en utilisant notre propre LLM[1] auto-hébergé à poids ouverts, préconfiguré et inclus gratuitement avec votre service d’hébergement.
Cela signifie que chaque fonctionnalité d’IA est disponible pour les clients Starter, Pro, Business et Enterprise sans avoir besoin d’un fournisseur de LLM tiers.
Activation du LLM auto-hébergé
Ceci devrait déjà être disponible et activé sur votre site sous la page de configuration du LLM :
Par défaut, « CDCK Hosted Small LLM » sera sélectionné comme votre LLM par défaut, et il devrait également être disponible à la sélection par n’importe quel persona sur votre site.
Utilisation et limites
Discourse mesure l’utilisation du LLM auto-hébergé via un système de crédits. Chaque jeton de requête ou de réponse consomme 1 crédit. Les crédits sont proportionnels à votre niveau d’hébergement et sont réinitialisés quotidiennement.
✱ Certaines fonctionnalités telles que la détection de spam par IA ne seront pas comptabilisées dans vos crédits
Les limites de crédits par niveau peuvent être trouvées sur la page des tarifs de notre site web. Une fois votre limite quotidienne atteinte, toutes les fonctionnalités d’IA qui dépendent du LLM seront mises en pause jusqu’à ce que les crédits soient réinitialisés le lendemain.
Si vous manquez rapidement de crédits, envisagez d’utiliser le système de quota LLM pour définir des restrictions par utilisateur ou par groupe. La mise à niveau vers un niveau supérieur est une autre option si vous avez besoin de capacité supplémentaire.
Vous pouvez consulter l’utilisation de l’IA de votre site à tout moment depuis la page d’utilisation de l’IA dans le panneau d’administration.
Pour plus de détails sur ce qu’il faut faire lorsque les crédits sont épuisés, consultez :
Il CDCK Hosted Small LLM è disponibile tramite API affinché le istanze di Discourse self-hosted possano utilizzarlo? In tal caso, presumerei che ci sia un costo associato.
Quindi la funzionalità AI Summarize è disponibile solo rispetto al post principale di un argomento? Sarebbe utile averla per una risposta lunga e complessa all’interno di una discussione.
Il livello Starter ha 15.000 “Crediti AI” giornalieri. A cosa equivale un credito? È un singolo token in una risposta? Sarebbe utile se mostraste in fondo a ogni riepilogo AI quanti crediti ha utilizzato.
Riassumere l’intero argomento è utile, ma non è il caso che ho discusso. In un argomento con 150 risposte, sto leggendo una risposta specifica che è lunga e complicata. Voglio che quella singola risposta venga riassunta dall’IA. Abbiamo questa funzione ora su Twitter ed è fantastica e utile.
Se un singolo riassunto IA richiede 1500 crediti IA e otteniamo solo 15.000 crediti al giorno, ciò significa che abbiamo bisogno solo di 10 persone che richiedano un riassunto IA e abbiamo esaurito tutto. Ciò rende la funzione non molto utile.
Puoi selezionare qualsiasi testo in qualsiasi post e fare clic su “Chiedi all’IA” e quindi utilizzare il prompt personalizzato per chiedere un riassunto.
Questa è la concessione di crediti gratuiti sul nostro piano da meno di $1 al giorno, sì.
Offriamo più crediti sui piani superiori e consentiamo a tutti i piani di utilizzare LLM (Large Language Models) di terze parti se hanno bisogno di sostenere un utilizzo maggiore.
Quindi, se passo da $20/mese a $100/mese, ora ottengo 30.000 crediti IA al giorno, e solo 20 utenti che utilizzano la funzione esauriscono i miei crediti? Penso che questo non sia un modello economico sostenibile per una funzionalità che è diventata una merce sui miei siti di discussione.
Capisco. Posso vedere perché i limiti di credito possano sembrare restrittivi all’inizio.
Ecco alcune cose che potrebbero aiutare a mettere le cose in prospettiva:
I crediti si ricaricano quotidianamente, quindi ottieni 15.000 (Starter) o 30.000 (Pro) freschi ogni 24 ore. In pratica, è piuttosto improbabile che tu veda 20 utenti diversi richiedere riepiloghi nello stesso giorno, soprattutto perché abbiamo una cache attiva. Una volta che un argomento è stato riassunto, gli utenti successivi vedono la versione memorizzata nella cache senza consumare crediti aggiuntivi. Ma se stai davvero vedendo quel livello di utilizzo giornaliero dei riepiloghi, è in realtà un ottimo segno! Significa che il tuo forum è davvero attivo e le persone sono coinvolte.
Se l’utilizzo è davvero così elevato, potresti essere pronto per un livello superiore. Il livello Business (100.000 crediti) supporterebbe comodamente una community molto attiva. Un elevato utilizzo delle funzionalità di IA di solito segnala che stai superando il tuo piano attuale anche in altri modi.
Prima di considerare un aggiornamento di livello, anche le quote per utente possono essere utili. Il sistema di quote LLM ti consente di distribuire l’utilizzo in modo più sostenibile tra i tuoi utenti, in modo che alcuni utenti “power user” non esauriscano tutto all’inizio della giornata.
Se questo ancora non è d’aiuto, i modelli linguistici di grandi dimensioni (LLM) di terze parti potrebbero essere più adatti al tuo caso d’uso. Puoi collegare il tuo fornitore di LLM (OpenAI, Anthropic, Gemini, ecc.). Pagherai separatamente, ma ti darà maggiore controllo e potrebbe essere più economico per un utilizzo ad alto volume.
Stiamo cercando di offrire un’opzione “pronta all’uso” che funzioni bene per la maggior parte dei clienti senza il fastidio delle chiavi API o della fatturazione separata. Ma non sei obbligato a usarla. È pensata per essere utile, e se ti sembra troppo limitante, passare a un fornitore di terze parti è assolutamente valido e lo supportiamo pienamente.
Activation du LLM auto-hébergé
Utilisation et limites