Se si concede ad alcuni membri l’accesso all’IA, cosa impedisce loro di usarla continuamente per il loro lavoro, ecc.? Esiste un modo per limitare il numero di token che possono utilizzare al giorno o alla settimana, ecc.?
Non ci sono limitazioni quando si usa Discourse AI, quindi la risposta è semplicemente nulla.
L’altra soluzione, Chatbot, ha limiti settimanali sul numero di richieste che possono essere effettuate.
Quindi, devi scegliere quale si adatta meglio a te. Io li uso entrambi. Chatbot per un uso più generale all’interno del mio forum [1] e DAI è limitato in base a un gruppo e a scopi (sintonizzati) utilizzando personas. Quindi, sfrutto i lati migliori di entrambi, perché questi due si sovrappongono solo parzialmente.
generale significa tipo di domande, altrimenti è sintonizzato in modo più specializzato ↩︎
4 Mi Piace
Spostamento in funzionalità, intendiamo aggiungere un sistema di quote, continua a comparire
Sto pensando di aggiungere solo selettori di gruppo con conteggi di input/output e durata su ciascun llm, in modo da poter aggiungere quote opzionali
7 Mi Piace
Ho bisogno di limiti di frequenza per singolo utente (non per gruppo), quindi sto cercando di implementare una soluzione temporanea. Limitare il numero di prompt invece dei token andrebbe bene. Sto pensando a un webhook su post_event che, se si tratta di un PM e un utente sta scrivendo a un bot, incrementi un campo personalizzato ai_query_count sull’utente. Penso che questa parte funzionerebbe.
Poi, cosa fare se il conteggio diventa troppo alto? Ho provato un po’ di javascript in admin > customize > head che legge il conteggio dell’utente e cerca di disabilitare il pulsante “Rispondi” se il conteggio è troppo alto, ma non riesco a trovare un termine selettore per ottenere il pulsante.
O forse c’è un approccio migliore. Qualsiasi idea è benvenuta!
Tecnicamente sono la stessa cosa, basta creare un gruppo di 1.
Questo dovrebbe arrivare questa settimana e risolvere il problema:
4 Mi Piace
Capisco che le quote per gruppo siano utili per gestire il budget, ma cosa impedisce a una persona di accaparrarsi tutta la quota del gruppo all’inizio del periodo di tempo? EDIT: E potenzialmente accaparrarsela per il proprio lavoro non correlato, come chiesto dall’OP?
Abbiamo 3000 membri. Quindi creare 3000 gruppi? Non distruggerà /g?
2 Mi Piace
Sono un po’ confuso riguardo a questa domanda, le quote sono definite per gruppo ora e applicate per utente
Se al gruppo sono consentiti 1000 token, significa che nessun singolo utente è autorizzato a più di 1000 token
La quota non è condivisa tra gli utenti, non contro l’aggiunta del concetto di quota assoluta se ne avremo bisogno in seguito
4 Mi Piace
Oh. Allora ho capito completamente male. La funzionalità dice:
Impostazione di limiti di token e utilizzo per gruppo con durate configurabili
Per me “limiti per gruppo” suona come se il gruppo nel suo complesso avesse un limite.
Quindi è esattamente quello che sto cercando: aspetterò la nuova funzionalità.
2 Mi Piace
Assegnerò questa configurazione a uno stagista mercoledì prossimo su un sito Discourse self-hosted. Devo dirgli di eseguire il pull dal ramo principale su GitHub? Oppure, se aggiunge questa riga in app.yml, è sufficiente?
hooks:
after_code:
- exec:
cd: $home/plugins
cmd:
- git clone https://github.com/discourse/docker_manager.git
...
...
- git clone https://github.com/discourse/discourse-ai.git
Voglio consentire le funzionalità del plugin Discourse AI solo agli utenti registrati. È questo il comportamento predefinito?
Non mi sembra che la ricerca potenziata dall’IA abbia un controllo per gruppo???
Per il bot AI, sto pensando di impostarlo su trust 0 e di impostare un limite di token per gruppo, aumentando con la crescita del trust. È una buona strategia?
Questo è stato unito. Ho solo bisogno di dedicare del tempo a documentarlo.
3 Mi Piace
@sam Grazie per il tuo lavoro. L’intern oggi ha impostato le quote per ogni livello di fiducia.
Non l’ha ancora testato completamente.
Quando viene raggiunto il limite giornaliero del gruppo, l’utente riceve un messaggio? Questo messaggio può essere personalizzato?
Voglio che l’IA sia utile, ma ci protegga dagli abusi. Se una persona vuole usare più ricerche IA, voglio inviarle una nota che può contattare un essere umano per aumentare il limite. Il personale può quindi spostarli manualmente in un gruppo preconfigurato.
Nel tuo esempio, noto che stai usando amazon nova pro v1. L’intern ha impostato la nostra implementazione con OpenAI gpt-o4, probabilmente solo per il riconoscimento del marchio.
L’intern sta ancora cercando di capire l’efficacia rispetto ai costi dei diversi modelli. Qualsiasi consiglio da chiunque nel forum sarebbe meraviglioso.
1 Mi Piace
Sì, ora succede
Molto minimamente, utilizziamo una stringa tradotta in modo da poter modificare la traduzione.
Chiudo questo perché è completo, sentiti libero di aprire nuove domande sull’IA!
1 Mi Piace