Configurazione dei limiti di utilizzo LLM in Discourse AI

:bookmark: Questa guida spiega come configurare e gestire le quote di utilizzo per i Large Language Models (LLM) in Discourse AI.

:person_raising_hand: Livello utente richiesto: Amministratore

Riepilogo

Le Quote di Utilizzo LLM consentono agli amministratori di controllare e monitorare il consumo di risorse AI impostando limiti sull’utilizzo dei token e sulle interazioni per diversi gruppi di utenti. Questo aiuta a mantenere l’efficienza dei costi garantendo al contempo un accesso equo alle funzionalità AI all’interno della vostra community.

Configurazione

Accesso alle impostazioni delle quote

  1. Accedi al pannello di amministrazione del sito
  2. Vai su Admin > Plugins > Discourse AI > LLMs
  3. Seleziona il modello LLM che desideri configurare

Impostazione delle quote

Per ogni gruppo di utenti, puoi configurare:

  • Utilizzo massimo dei token
  • E/O Numero massimo di interazioni AI
  • E/O Costo massimo
  • Durata del periodo di reset

Per ogni quota deve essere impostato almeno uno tra il massimo dei token o il massimo degli utilizzi.

:notepad_spiral: Nota: Al gruppo “everyone” (tutti) non può essere assegnata una quota. Devi utilizzare gruppi specifici (ad esempio, gruppi basati sul livello di fiducia o gruppi personalizzati).

Opzioni di durata

Scegli tra i periodi di reset predefiniti:

  • 1 ora
  • 6 ore
  • 24 ore
  • 7 giorni
  • Durata personalizzata (specificata in ore)

Monitoraggio dell’utilizzo

Visualizzazione delle statistiche

Gli amministratori possono monitorare il consumo di token e l’utilizzo generale all’indirizzo: https://SITENAME/admin/plugins/discourse-ai/ai-usage

  1. Vai su Admin > Plugins > Discourse AI
  2. Seleziona la scheda “Usage” (Utilizzo)
  3. Filtra per intervallo di date, gruppo di utenti o metriche specifiche

Esperienza utente

Notifiche sulla quota

Gli utenti ricevono feedback chiari quando si avvicinano o raggiungono i limiti della quota:

  • Stato dell’utilizzo corrente
  • Tempo rimanente fino al prossimo reset della quota

Messaggi di errore

Quando una quota viene superata, gli utenti vedono:

  • Una notifica chiara che indica che è stato raggiunto il limite della quota
  • Il tempo rimanente fino al prossimo reset della quota

Best practice

  1. Inizia con cautela: Inizia con quote piĂą basse e regolale in base ai pattern di utilizzo effettivi
  2. Assegnazione basata su gruppi: Assegna quote diverse in base alle esigenze e ai ruoli dei gruppi di utenti
  3. Monitoraggio regolare: Esamina i pattern di utilizzo per ottimizzare le impostazioni delle quote
  4. Comunicazione chiara: Informa gli utenti sui limiti delle quote e sui periodi di reset

Problemi comuni e soluzioni

Problema: Gli utenti raggiungono frequentemente i limiti

Soluzione: Considera le seguenti opzioni:

  • Aumentare i limiti della quota per gruppi specifici
  • Ridurre il periodo di reset
  • Creare gruppi specializzati per gli utenti con alto utilizzo

Problema: Quote inutilizzate

Soluzione:

  • Ridurre i limiti per ottimizzare l’allocazione delle risorse
  • Rivedere le assegnazioni ai gruppi per assicurarsi che le quote corrispondano alle esigenze degli utenti

FAQ

**D: Le quote inutilizzate vengono accumulate?
R: No, le quote vengono resettate completamente alla fine di ogni periodo.

**D: Diversi modelli LLM possono avere quote diverse?
R: Sì, le quote possono essere configurate in modo indipendente per ogni LLM.

**D: Cosa succede se vengono impostate piĂą quote per un singolo LLM?
R: Le quote sono basate su gruppi e applicate per utente. Perché un utente superi la quota, deve superarla in tutti i gruppi. Questo significa che se assegni agli amministratori una quota molto flessibile e al livello di fiducia 1 una più restrittiva, agli amministratori verrà applicata la quota degli amministratori.

**D: Cosa succede se a un LLM non viene applicata alcuna quota?
R: Non succede nulla di particolare; tutto l’utilizzo LLM sarà non misurato (unmetered).

**D: Cosa faccio se voglio quote diverse per funzionalitĂ  diverse?
R: Discourse AI ti consente di definire più LLM che contattano tutti lo stesso endpoint e possono persino riutilizzare le chiavi. Se desideri assegnare una quota all’AI Helper e una diversa all’AI Agent, definisci 2 LLM.

**D: Come rimuovo una quota?
R: Elimina la quota dalla pagina di configurazione del modello LLM. Non esiste un modo per “pausare” o disabilitare temporaneamente una quota: deve essere eliminata e ricreata.

Risorse aggiuntive

11 Mi Piace

Sembra che non possiamo proibire completamente a un gruppo di utilizzare un modello specifico impostando la quota a 0.

Potresti aggiungere il supporto per questa impostazione?

Mi dispiace, puoi espandere qui. Ogni funzionalità è anche limitata a un gruppo, quindi puoi comunque abilitare l’helper solo per un sottoinsieme di utenti.

Vorrei che alcuni modelli premium fossero riservati solo a gruppi specifici. Sarebbe fantastico se potessimo impostare la quota di un modello a 0 per disabilitare l’accesso a determinati gruppi.

2 Mi Piace

Sì, è un problema interessante. Ci penserò.

Potresti voler che l’assistente utilizzi GPT4o per il “gruppo speciale 1” e GPT4o mini per il resto delle persone.

Al momento, ti consentiamo solo di selezionare un modello per l’assistente AI, quindi sarebbe necessaria una modifica piuttosto importante per supportare questa funzionalità.

@Falco / @Saif / @awesomerobot, qualcosa a cui pensare.

5 Mi Piace