Discourse AI - Riepilogo

[Discourse]

Questo argomento copre la configurazione della funzione Riepilogo del plugin Discourse AI.

Livello utente richiesto: Amministratore

Riepiloga argomenti e canali di chat per un rapido riassunto. Utilizzalo in mega-argomenti e discussioni ampie per capire cosa sta succedendo.

Funzionalità

• Riepiloga argomenti dalla mappa dell’argomento (in alto e in basso nella pagina dell’argomento)
• Riepiloga canali di chat per una durata specifica (fino a 7 giorni)
• Riepiloghi memorizzati nella cache in argomenti generati in precedenza
• Rigenera riepiloghi più vecchi
• Visualizza la data del riepilogo e il modello di IA utilizzato

Attivazione di Riepilogo

Prerequisiti

Devi configurare almeno un Large Language Model (LLM) da un provider.

Per iniziare, puoi configurarli tramite la pagina delle impostazioni Discourse AI - Large Language Model (LLM).

• OpenAI
• Anthropic
• Azure OpenAI
• AWS Bedrock con accesso ad Anthropic
• Google Gemini
• Self-Hosting di un LLM OpenSource

Configurazione

1. Vai su Amministrazione → Plugin → AI → Funzionalità e assicurati che il plugin sia abilitato (discourse ai enabled)
2. Seleziona l’Agente AI da utilizzare per il riepilogo tramite ai summarization agent (un agente Summarizer predefinito è già configurato)
3. Spunta ai summarization enabled per abilitare Riepilogo
4. Configura quali gruppi di utenti possono generare e visualizzare i riepiloghi modificando i gruppi consentiti sull’agente Summarizer (sotto Amministrazione → Plugin → AI → Agenti)
5. (Facoltativo) Abilita i riepiloghi dei messaggi privati (PM) per specifici gruppi di utenti tramite ai pm summarization allowed groups

FAQ Tecnica

Riepilogo memorizza i risultati nella cache?

• Riepilogo memorizza i risultati nella cache e li rende disponibili anche per tutti gli utenti al di fuori dei gruppi selezionati.

Avvertenze

• Gli output di Riepilogo potrebbero non essere accurati al 100%, quindi assicurati di verificare attentamente qualsiasi output
• Le chiamate LLM possono essere costose. Ti consigliamo di abilitare Riepilogo per specifici gruppi di utenti per aiutare a controllare i costi

[EricGT]

Domanda

Riassunto

Oggi il riassunto è stato attivato sul forum di OpenAI. Discutendone con un utente, ho scoperto che per i moderatori vediamo Riassumi questo argomento con molto meno contenuto rispetto agli altri utenti.

Come moderatori, otteniamo l’opzione Riassumi questo argomento

• Per il forum: un post dell’argomento seguito da una risposta mostrerà l’opzione
• Per i messaggi diretti: un post dell’argomento mostrerà l’opzione

Ho provato a trovare la documentazione a riguardo e non ne ho trovata. Mi sono perso qualcosa?

---

---

Feedback sul riassunto

OMG! È perfetto!

Abbiamo bisogno del riassunto, e ne abbiamo bisogno ora!

(ref)

L’argomento di riassunto menzionato è subito sopra quella risposta, qui.

---

---

Suggerimento

Aggiungere automaticamente una risposta di riepilogo agli argomenti con molte risposte e molte visualizzazioni, in particolare agli argomenti di discussione.

Ovviamente ci devono essere delle impostazioni in modo che possa essere personalizzato quanto spesso e quali argomenti, il che potrebbe richiedere all’IA di selezionare.

Identificare anche la/le risposta/e di riepilogo in modo tale che il codice di riepilogo non utilizzi alcuna risposta di riepilogo poiché ciò potrebbe distorcere la pertinenza delle informazioni per i riepiloghi successivi.

---

Negli ultimi giorni, come moderatore, ho selezionato manualmente argomenti e aggiunto risposte di riepilogo di Discourse AI. Il feedback, sebbene limitato, è stato positivo.

Esempi

---

---

Suggerimento folle

Creare un sito di notizie di Discourse

---

Ogni giorno visito molti siti per ricevere aggiornamenti. Alcuni di questi siti forniscono articoli di notizie sulle ultime tendenze dell’IA. Molti di questi articoli di notizie sono in realtà solo una serie di fatti in una riga. Un articolo di notizie che ho letto stamattina è stato tratto dal forum Discourse di OpenAI e dai forum Discord. Utilizzando il riassunto per quell’argomento, ho notato che ciò che è stato generato era buono o migliore dell’articolo di notizie.

Ora molti di noi conoscono Hacker News.

Quindi perché non avere notizie di Discourse che recuperano notizie basate su siti di Discourse che accettano di rendere disponibili contenuti sul sito di notizie di Discourse. Ovviamente ci dovrebbero essere opzioni di opt-in per ogni sito, utente e argomento, ma non si sa mai, potrebbe diventare una nuova fonte di informazioni per The Pile e se fosse fatto anche con la dovuta approvazione sarebbe un beneficio per molti.

---

---

Feedback

Ho creato un riepilogo per questo argomento ma non l’ho pubblicato pubblicamente

Code interpreter is turned off, any idea?

Il riepilogo è stato creato dopo questo post (numero 5)

Code interpreter is turned off, any idea?

Riassunto

L’utente jy.genre ha segnalato che l’interprete di codice era offline con un’immagine caricata. EricGT ha risposto, dicendo che per lui era attivo e produceva codice. Ha anche condiviso immagini del forum Discourse e della pagina di stato di OpenAI che mostravano un messaggio di manutenzione, che non aveva mai visto prima. Ha anche condiviso messaggi di manutenzione aggiornati. Markanthonykoop ha anche segnalato di aver visto un popup di manutenzione e in precedenza aveva riscontrato un loop del servizio. Magejosh ha confermato di non poter aprire nuove chat con l’interprete di codice, ma poteva caricare file in chat precedentemente aperte. Ha notato errori più frequenti e dimenticanze delle istruzioni, ma ha presunto che ciò fosse dovuto alla manutenzione. EricGT ha condiviso un altro aggiornamento di manutenzione dalla pagina di stato di OpenAI.

Due osservazioni

• L’ora o la sequenza degli eventi sono importanti e mancano nel riassunto
• Ci sono molte informazioni critiche nelle immagini che non vengono estratte per il riassunto, forse si può usare l’OCR.

[EricGT]

L’argomento originale è nella categoria Lounge su OpenAI Discourse a cui la maggior parte non può accedere.

Pubblicato qui affinché Roman e Falco possano vederlo e anche per risparmiare a Sam il lavoro di riportare questo; Sam sta facendo un ottimo lavoro rimanendo in contatto sulla sintesi presso OpenAI.

@sam.saffron

“riavviare questo argomento molto rumoroso con un nuovo argomento che sia molto più chiaro”

Mi piace l’idea del riavvio.

Considera anche argomenti simili che dovrebbero essere uniti in uno, ad esempio

GPT has been severely downgraded

Has There Been A Recent Decrease In GPT-4 Quality?

Experiencing Decreased Performance with ChatGPT-4

Terrible performance degradation GPT Plus

GPt-4 is underwhelming now

[Hifihedgehog]

C’è un modo per cancellare i riassunti memorizzati nella cache dall’uso di altri LLM? Chiedo perché un LLM mi ha dato questa perla di riassunto, quindi da allora sono passato a un altro, ma non sono sicuro di come rimuovere questo vecchio riassunto dal sistema del forum.

[Falco]

Attualmente il personale può rigenerare i riepiloghi dopo 1 ora. Un altro modo è utilizzare la console Ruby per eliminare un riepilogo memorizzato nella cache specifico dal database.

[Falco]

Tra l’altro, non abbiamo trovato i modelli di riepilogo esistenti sufficientemente validi per Discourse e siamo passati all’uso di LLM per questo. Se disponi di un server con sufficiente VRAM GPU, l’esecuzione di un LLM basato su Llama2 ti darà ottimi risultati per #ai-summarization e ai-helper. Ho aggiornato Discourse AI - Self-Hosted Guide con istruzioni di base su come eseguire tale LLM.

[pfaffman (Jay Pfaffman)]

@Falco

Se hai un server con abbastanza VRAM GPU

Mi infastidisce quando la gente fa questa domanda, ma puoi darmi un’idea di cosa sia “abbastanza”?

Forse ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 Scheda Grafica da Gioco (PCIe 4.0, Memoria GDDR6 da 12GB, HDMI 2.1, DisplayPort 1.4a, 2 Slot, Design Ventola Axial-tech, Tecnologia 0dB) Amazon.com: ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 Gaming Graphics Card (PCIe 4.0, 12GB GDDR6 Memory, HDMI 2.1, DisplayPort 1.4a, 2-Slot, Axial-tech Fan Design, 0dB Technology) : Electronics

[Falco]

@pfaffman

Mi infastidisce quando la gente fa questa domanda, ma puoi dare un indizio su cosa sia “abbastanza”?

Dovresti dare un’occhiata alla modifica che ho linkato sopra, contiene proprio questo!

Ma la versione più lunga è che la quantizzazione ti consente di scambiare qualità e velocità per l’esecuzione su specifiche inferiori. Se vuoi eseguire i migliori modelli, senza quantizzazione hai bisogno di circa 160 GB di VRAM. Se accetti una qualità, velocità, latenza, ecc. peggiori, puoi usarne il 5%.

Abbiamo risultati “abbastanza buoni” che eseguono il modello che uso come esempio lì, che a malapena funziona su una macchina con 96 GB di VRAM.

[Hifihedgehog]

@Falco

Attualmente lo staff può rigenerare i riassunti dopo 1 ora.

Potrei non trovarlo, quindi perdonami se è così, ma dov’è l’opzione per forzare una nuova rigenerazione per lo staff?

[Hifihedgehog]

@Falco

Attualmente il personale può rigenerare i riassunti dopo 1 ora. L’altro modo è usare la console Ruby per eliminare un riassunto memorizzato nella cache specifico dal DB.

Mi scuso per il ripescaggio, ma non sono riuscito a trovare il metodo per cui il personale possa rigenerare i riassunti dopo 1 ora. Questa finestra di 1 ora richiede che sia stata data una risposta all’argomento, c’è una combinazione segreta dell’interfaccia utente da eseguire per accedervi, ecc.?

[swong (Simon Wong)]

C’è un modo per utilizzare la strategia di riepilogo di Anthropic's claude-2, utilizzando AWS Bedrock con accesso Anthropic (l’AI Chat Bot ha questa opzione)?

Attualmente, entrambi i modelli Anthropic possono essere selezionati solo se è configurata la ai_anthropic_api_key.

[Falco]

Sì, devi\n\n- Impostare ai_anthropic_api_key su ‘a’ (per aggirare la convalida)\n- Inserire le tue credenziali Bedrock\n- Selezionare Claude 2 come modello di riepilogo\n\nAbbiamo in programma una revisione del modo in cui i modelli / inferenza / API possono essere selezionati nell’interfaccia utente, ma nel frattempo questo funzionerà per te.

[EricGT]

Feedback.

Per la maggior parte, il riepilogo funziona bene.

Per i link alle immagini nel post, i link non sono corretti.

OpenAI Dev Day 2023 Live Reactions

ad es.

Seguendo alcune fotografie condivise da [Foxabilo](/t/-/475167/13; /t/-/475167/24; /t/-/475167/34; /t/-/475167/37)

[Jagster (Jakke Flemming)]

Questa è parte della solita questione delle lingue… ma qualcuno ha un’idea del perché a volte la sintesi rispetta la lingua dell’argomento e a volte usa l’inglese? Sembra che succeda in modo totalmente casuale.

E la domanda effettiva potrebbe essere se esiste un prompt di sistema in cui possiamo suggerire la lingua utilizzata o se proviene dallo strumento di sintesi?

[sam (Sam Saffron)]

@Jagster

E la domanda vera potrebbe essere se esiste un prompt di sistema in cui possiamo suggerire la lingua utilizzata o se proviene dallo strumento di riepilogo?

Al momento è codificato internamente, ma prevediamo di consentire flessibilità in questo senso.

Ad alcune persone piacciono riepiloghi più lunghi, ad altre più brevi… ecc…

[RBoy]

@Falco

Le strategie disponibili includono:

• Una raccolta di modelli open-source da HuggingFace: bart-large-cnn-samsum, flan-t5-base-samsum e long-t5-tglobal-base-16384-book-summary.
• OpenAI ChatGPT, utilizzando gpt-3.5-turbo o gpt-4.
• I modelli V1 e V2 di Anthropic Claude.

Questo testo potrebbe necessitare di un aggiornamento in quanto credo supporti anche Gemini.

Inoltre, un feedback sull’interfaccia utente delle impostazioni: c’è stato un motivo particolare per cui le impostazioni summarization_strategy e custom summarization allowed groups sono state spostate nella pagina Others invece di essere nella pagina Discourse AI insieme al resto delle impostazioni AI? Ci è voluto un po’ per trovarle e si stanno perdendo tra un insieme di impostazioni non correlate.

[RBoy]

Come si attiva/disattiva questa funzionalità? Non vedo il pulsante Riassumi per argomenti con il numero richiesto di post e vedo anche messaggi nei log di errore, quindi voglio provare ad attivarlo e disattivarlo di nuovo.

[Shauny (Shaun Robinson)]

Come possiamo disabilitare completamente Riassumi con l’IA?
La qualità è davvero pessima e trovo il pulsante inutile: vorrei rimuoverlo.

[Falco]

@Shauny

Come possiamo disabilitare completamente Riassumi con l’IA?

Nello stesso modo in cui l’hai abilitata con l’impostazione summarization strategy. Per disabilitarla puoi reimpostarla al valore predefinito del sito.

@Shauny

La qualità è davvero pessima

Quale modello stai utilizzando? Abbiamo scoperto che Claude 3 Opus offre le migliori prestazioni in questo compito.