Discourse AI - Uso dell'IA

[Saif (Saif Murtaza)]

Questa guida copre la pagina di utilizzo dell’IA che fa parte del plugin Discourse AI.

Livello utente richiesto: Amministratore

La pagina di utilizzo dell’IA è progettata per gli amministratori per comprendere come la community utilizza le funzionalità di Discourse AI nel tempo. Questo può essere utile in Estimating costs of using LLMs for Discourse AI.

Funzionalità

• Orizzonte temporale: ultime 24 ore, ultima settimana, ultimo mese e intervallo di date personalizzato
• Selezionabile per funzionalità di Discourse AI
• Selezionabile per LLM abilitati
• Anteprima riepilogativa
  • Richieste totali: Tutte le richieste effettuate agli LLM tramite Discourse
  • Token totali: Tutti i token utilizzati durante l’invio di un prompt a un LLM
  • Token di richiesta: Token utilizzati quando l’LLM tenta di capire cosa stai dicendo
  • Token di risposta: Token utilizzati quando l’LLM risponde al tuo prompt
  • Token di lettura cache: Token di richiesta precedentemente elaborati che l’LLM riutilizza dalla cache per ottimizzare le prestazioni e i costi
  • Token di scrittura cache: Token di richiesta che sono stati scritti nella cache per un potenziale riutilizzo futuro
  • Costo stimato: Costo cumulativo di tutti i token utilizzati dagli LLM in base alle metriche di costo specificate aggiunte alle configurazioni LLM
• Grafico a barre interattivo che mostra l’utilizzo dei token
• Token, conteggio di utilizzo e costo stimato per funzionalità di Discourse AI
• Token, conteggio di utilizzo e costo stimato per LLM
• Token, conteggio di utilizzo e costo stimato per utente

Abilitazione dell’utilizzo dell’IA

Prerequisiti

Affinché i dati vengano popolati, devi configurare almeno un Modello Linguistico di Grandi Dimensioni (LLM) da un provider e avere membri che utilizzano le funzionalità di Discourse AI.

Per iniziare, puoi configurare gli LLM tramite la pagina delle impostazioni di Discourse AI - Modello Linguistico di Grandi Dimensioni (LLM).

• OpenAI
• Anthropic
• Azure OpenAI
• AWS Bedrock
• Google Gemini
• Mistral
• Groq
• SambaNova
• Open Router
• Cohere
• HuggingFace
• vLLM / Self-Hosting di un LLM OpenSource

Configurazione

1. Vai su Impostazioni Amministratore → Plugin → AI → scheda Impostazioni e assicurati che sia abilitato (discourse ai enabled)
2. All’interno del plugin AI, naviga alla scheda Utilizzo

FAQ Tecniche

Cosa sono i token e come funzionano?

• I token sono le unità di base che gli LLM utilizzano per comprendere e generare testo; i dati di utilizzo possono influire sui costi. Consulta Stima dei costi di utilizzo degli LLM per Discourse AI per saperne di più.