Sto solo seguendo qui per far notare che il triage AI non ha più bisogno di quanto segue grazie al lavoro di @Roman sul miglioramento dei prompt
3 Mi Piace
Ciao a tutti! Questo è più un commento di ringraziamento perché volevo prima ringraziarvi tutti per aver fornito le informazioni qui presenti, oltre ai post che avevo consultato riguardo a questa funzionalità.
Ha fornito un contesto molto necessario su come questo lavoro è stato implementato. Sto attualmente studiando la misurazione e l’identificazione dei modelli di tossicità online in contesti aziendali, sui social media e soprattutto in comunità più piccole o in crescita e ho molte domande, ma nulla di importante da segnalare per ora.
2 Mi Piace
Seguito rapido: significa che i prompt esistenti già in esecuzione devono essere aggiornati?
2 Mi Piace
Sì, i prompt esistenti dovrebbero essere aggiornati ora per riflettere le modifiche
2 Mi Piace
L’AI Triage è fantastico! Non vedo l’ora di vedere fin dove possiamo arrivare con esso rispetto al classico algoritmo “bag of words”. Il classificatore di post è un’ottima funzionalità. Mi chiedo se ci siano piani per consentirne l’utilizzo con la coda di approvazione dei post. ( approve post count, approve unless allowed groups).
Quindi, in pratica, utilizzare un classificatore non solo per aggiungerlo alla coda per la revisione, ma per approvare o rifiutare automaticamente dalla coda. (Non intendo gestire solo le segnalazioni, ma solo le approvazioni)
Vedo l’AI post triaging e la coda di revisione dei post come complementari.
4 Mi Piace
Quindi per aggiungere tag o cambiare categorie, ci sono attualmente le seguenti opzioni (correggimi se sbaglio)
- l’utente utilizza l’AI helper per suggerire tag e categorie dall’interno del composer basandosi su embedding vettoriali nearest neighbor, confrontandoli con post precedenti.
- l’amministratore imposta un classificatore di post AI separato che esegue il topic attraverso un LLM per ogni possibile tag e ogni possibile categoria, che aggiunge il tag o cambia la categoria quando l’output dell’LLM lo indica. Non aggiungerà tag arbitrari, ogni classificatore aggiungerà solo un tag specifico sì o no. Questo non è solo macchinoso da configurare e mantenere, ma è anche costoso perché devi eseguirli tutti.
Quello che vorrei avere è un classificatore che accetti un’istruzione come
Sei un assistente di tagging per un forum. Il forum riguarda X, Y e Z.
Il tuo compito è taggare i post del forum con uno o più dei seguenti tag:
- un tag che specifica se il post sta vendendo qualcosa o cercando qualcosa. Tag: for_sale, wanted, advice
- un tag che specifica il tipo di articolo di cui tratta il post: cars, services, tickets, kids_stuff, home_and_garden, other.
Se incontri un messaggio NSFW, taggalo NSFW.
Puoi anche impostare azioni per moderare un post.
Se incontri un messaggio che è pertinente a questo forum ma potrebbe essere visto come offensivo, imposta l’azione su ‘flag’.
Se incontri un messaggio che non è pertinente, imposta l’azione su ‘hide’
Questo può quindi essere accompagnato dalla fantastica nuova opzione structured outputs di OpenAI per restituire una struttura JSON che specifica i tag da aggiungere o l’azione da intraprendere, che verrà quindi elaborata dal classificatore.
C’è qualcosa del genere in roadmap e/o è benvenuto un PR? O sarebbe territorio di plugin?
7 Mi Piace
Penso che il modo più sicuro per procedere sarebbe definire un’automazione completamente nuova per questo. È strutturalmente molto diversa da quella attuale.
Penso che saremmo aperti a una PR ben testata per Discourse AI.
Tieni presente che il prompt di completamento in AI non supporta al momento output strutturati, questo concetto dovrebbe essere aggiunto e implementato per i modelli OpenAI, abbiamo tonnellate di modelli, molti non hanno supporto nativo, sarei aperto a una PR solo per fornire supporto OpenAI per iniziare, purché non sia confusionario per gli utenti finali e consentiamo loro di selezionare un modello che non supporta la funzionalità.
È comunque un cambiamento abbastanza grande, ma se ti senti coraggioso… fallo.
Consiglierei di procedere con più PR, partendo dal fornire supporto all’output strutturato ai prompt di completamento (testato).
9 Mi Piace
Sto creando un’automazione “Tagga automaticamente i post”, tuttavia non riesco a selezionare un tag che è stato aggiunto a un gruppo di tag. Per favore, fammi sapere se ci sono soluzioni alternative. Preferirei mantenere il gruppo di tag esistente. Grazie!
1 Mi Piace
Ciao a tutti,
Ho capito bene? Se ho 50 categorie che utilizzerò per la classificazione automatica degli argomenti in quelle categorie tramite triage AI, avrò bisogno di 50 automazioni uniche per realizzarlo?
L’unica volta in cui verrà effettuata una chiamata a LLM sarà quando verranno creati argomenti nuovi per quel post iniziale? Sembra che l’uso dell’AI non sia eccessivo per questo scenario.
Credo di aver letto che qualcuno stava considerando un altro approccio per questo, ma potrebbe essere ancora solo in fase di idea, suppongo.
3 Mi Piace
Penso che la risposta alla mia domanda dipenda da quanto granulare si desidera la categorizzazione automatica.
Forse qualcuno può rispondere quando si utilizza l’automazione per categorizzare automaticamente gli argomenti, l’input di ricerca viene abbinato e ha la priorità rispetto all’uso dell’IA?
In altre parole, se imposto Banana come termine di ricerca nell’automazione e un utente crea un argomento utilizzando Banana all’interno del post, Corrispondenza, Nessuna IA chiamata. Categorizza come banana.
Se l’utente crea un argomento che fa riferimento a frutta gialla che le scimmie mangiano, Nessuna corrispondenza, viene eseguito il prompt AI che potrebbe determinare che la descrizione è una banana 
.
Per questo scenario, Banana sarebbe anche una categoria esistente.
1 Mi Piace
parte di questo si collega a ciò di cui ha parlato @RGJ e ad alcune idee che ho discusso con @Falco.
Sto iniziando ad accettare che una persona possa agire come un agente, quindi potresti lasciare che l’agente faccia varie cose per te tramite strumenti, come categorizzare argomenti e così via.
La meccanica qui è tutta in sospeso, ma ci stiamo pensando.
50 automazioni è chiaramente una soluzione terribile.
6 Mi Piace
Ciao
AI Triage può eseguire ricerche? Intendo utilizzare un prompt che eviti argomenti con titoli simili se la data di creazione dell’altro argomento è inferiore a un giorno. È possibile con AI Triage?
1 Mi Piace
Al momento no, sembra che tu stia descrivendo comportamenti da "agente". Questa è sicuramente una cosa a cui stiamo pensando!
3 Mi Piace
Wow, funziona a meraviglia!
Sto cercando un consiglio: cosa dovrei impostare come limite al numero di token? Questo è per un forum a basso traffico.
Copiando questo qui per rilevanza
1 Mi Piace
Penso che questa funzionalità debba essere migliorata. Mi aspetto che l’AI categorizzi automaticamente gli argomenti e li supporti con tag appropriati. Allo stato attuale non è completamente automatico (o non l’ho capito io). Ad esempio, dobbiamo scegliere una categoria specifica. In realtà, abbiamo l’AI, perché non fa tutto? Sarebbe una grande comodità per utenti e amministratori. Se le categorie e i tag fossero organizzati automaticamente dall’AI, potremmo includere anche il titolo. Quindi l’unica cosa che gli utenti dovrebbero fare è scrivere quello che vogliono dire. Ci farebbe risparmiare secondi e sarebbe una grande comodità per gli utenti.
[citazione=“kuaza, post:50, topic:281227”]
In realtà, abbiamo l’IA, perché non fa tutto?
[/citazione]
La risposta fondamentale è che “tutto” significa cose diverse per persone diverse. Le impostazioni predefinite aiutano, ma trovare una ricetta che si adatti perfettamente al 99% delle persone è molto, molto difficile. Tutte le comunità sono in qualche modo diverse.
3 Mi Piace
Il nostro obiettivo è rendere il lavoro delle persone più facile. Quindi automatizziamo questo e, quando necessario, gli amministratori o gli utenti autorizzati possono modificarlo e fornire feedback all’IA. Questa funzionalità può rimanere invariata, ma dobbiamo pensare alla determinazione di categorie e tag completamente guidata dall’IA.
In realtà, la mia aspettativa è che le persone possano creare facilmente nuovi argomenti come qui https://ask.discourse.com/ e non perdere tempo con categorie, titoli o tag. Questi possono essere modificati in seguito, se lo si desidera, ma dobbiamo pensare ai vantaggi di offrire questa comodità agli utenti.
[citazione=“kuaza, post:52, topic:281227”]
e non perdere tempo con categorie, titoli o tag
[/citazione]
La probabilità che l’intelligenza artificiale possa farlo bene è minima. Se la persona che scrive l’argomento non ne sa abbastanza sulla comunità da sapere in quale argomento dovrebbe essere inserito o qual è un titolo ragionevole, è improbabile che pubblichi qualcosa di valore per la comunità.
Dove ti fermi? Perché far scrivere qualcosa agli utenti? L’IA non dovrebbe generare gli argomenti e le risposte?
2 Mi Piace
Sono d’accordo con le ultime risposte, ma la categorizzazione automatica potrebbe essere una buona funzionalità da sperimentare.
Forse un’opzione per abilitare/disabilitare la funzionalità potrebbe adattarsi alle diverse esigenze delle diverse persone che Sam ha sottolineato.
L’UI/UX per la scelta delle categorie è difficile per gli utenti non tecnici. Nessuno vuole scorrere i menu a tendina e/o usare mouse + tastiera, ma semplicemente digitare e pubblicare i propri messaggi.
1 Mi Piace