Discourse AI - Riassunto

Documentazione Gestione del sito
, ,
1

:bookmark: Questo argomento copre la configurazione della funzionalità Riassumi del plugin Discourse AI.

:person_raising_hand: Livello utente richiesto: Amministratore

Riassumi argomenti e canali di chat per un rapido riepilogo. Usalo in mega argomenti e discussioni ampie per capire cosa sta succedendo.

Chat channel summarize option
Chat channel summarize option542×618 27.5 KB

Funzionalità

  • Riassumi argomenti dalla mappa dell’argomento (in alto e in basso dell’argomento)
  • Riassumi i canali di chat per una specifica durata di tempo (fino a 7 giorni)
  • Riepiloghi memorizzati nella cache negli argomenti generati in precedenza
  • Rigenera riepiloghi più vecchi
  • Visualizza la data del riepilogo e il modello AI utilizzato

Abilitazione di Riassumi

Prerequisiti

Devi configurare almeno un modello linguistico di grandi dimensioni (LLM) da un provider.

Per iniziare, puoi configurarli tramite la pagina delle impostazioni di Discourse AI - Modelli linguistici di grandi dimensioni (LLM).

Configurazione

  1. Vai alle impostazioni Admin → Plugins → AI → scheda Settings e assicurati che sia abilitato (discourse ai enabled)
  2. Imposta l’LLM da utilizzare tramite ai summarization model
  3. Seleziona ai summarization enabled per abilitare Riassumi
  4. Si consiglia di impostare quali gruppi di utenti possono generare e visualizzare riepiloghi tramite ai custom summarization allowed groups
  5. (Facoltativo) Abilita i riepiloghi dei messaggi privati (PM) per gruppi di utenti specifici tramite ai pm summarization allowed groups

Gli auto-ospitanti dovranno configurare quanto segue:

  • ai_summarization_discourse_service_api_endpoint
  • ai_summarization_discourse_service_api_key

FAQ Tecniche

Riassumi memorizza nella cache i risultati?

  • Riassumi memorizza nella cache i risultati e li rende persino disponibili a tutti gli utenti al di fuori dei gruppi selezionati.

Avvertenze

  • Gli output di Riassumi potrebbero non essere accurati al 100%, quindi assicurati di controllare attentamente qualsiasi output.
  • Le chiamate LLM possono essere costose. Si consiglia di abilitare Riassumi per gruppi di utenti specifici per aiutare a controllare i costi.
20 Mi Piace
18

Domanda

Riassunto

Oggi il riassunto è stato attivato sul forum di OpenAI. Discutendone con un utente, ho scoperto che per i moderatori vediamo Riassumi questo argomento con molto meno contenuto rispetto agli altri utenti.

Come moderatori, otteniamo l’opzione Riassumi questo argomento

  • Per il forum: un post dell’argomento seguito da una risposta mostrerà l’opzione
  • Per i messaggi diretti: un post dell’argomento mostrerà l’opzione

Ho provato a trovare la documentazione a riguardo e non ne ho trovata. Mi sono perso qualcosa?

Feedback sul riassunto

OMG! È perfetto!

Abbiamo bisogno del riassunto, e ne abbiamo bisogno ora!

(ref)

L’argomento di riassunto menzionato è subito sopra quella risposta, qui.

Suggerimento

Aggiungere automaticamente una risposta di riepilogo agli argomenti con molte risposte e molte visualizzazioni, in particolare agli argomenti di discussione.

Ovviamente ci devono essere delle impostazioni in modo che possa essere personalizzato quanto spesso e quali argomenti, il che potrebbe richiedere all’IA di selezionare.

Identificare anche la/le risposta/e di riepilogo in modo tale che il codice di riepilogo non utilizzi alcuna risposta di riepilogo poiché ciò potrebbe distorcere la pertinenza delle informazioni per i riepiloghi successivi.

Negli ultimi giorni, come moderatore, ho selezionato manualmente argomenti e aggiunto risposte di riepilogo di Discourse AI. Il feedback, sebbene limitato, è stato positivo.

Esempi

Suggerimento folle

Creare un sito di notizie di Discourse

Ogni giorno visito molti siti per ricevere aggiornamenti. Alcuni di questi siti forniscono articoli di notizie sulle ultime tendenze dell’IA. Molti di questi articoli di notizie sono in realtà solo una serie di fatti in una riga. Un articolo di notizie che ho letto stamattina è stato tratto dal forum Discourse di OpenAI e dai forum Discord. Utilizzando il riassunto per quell’argomento, ho notato che ciò che è stato generato era buono o migliore dell’articolo di notizie.

Ora molti di noi conoscono Hacker News.

Quindi perché non avere notizie di Discourse che recuperano notizie basate su siti di Discourse che accettano di rendere disponibili contenuti sul sito di notizie di Discourse. Ovviamente ci dovrebbero essere opzioni di opt-in per ogni sito, utente e argomento, ma non si sa mai, potrebbe diventare una nuova fonte di informazioni per The Pile e se fosse fatto anche con la dovuta approvazione sarebbe un beneficio per molti.

Feedback

Ho creato un riepilogo per questo argomento ma non l’ho pubblicato pubblicamente

Il riepilogo è stato creato dopo questo post (numero 5)

Riassunto

L’utente jy.genre ha segnalato che l’interprete di codice era offline con un’immagine caricata. EricGT ha risposto, dicendo che per lui era attivo e produceva codice. Ha anche condiviso immagini del forum Discourse e della pagina di stato di OpenAI che mostravano un messaggio di manutenzione, che non aveva mai visto prima. Ha anche condiviso messaggi di manutenzione aggiornati. Markanthonykoop ha anche segnalato di aver visto un popup di manutenzione e in precedenza aveva riscontrato un loop del servizio. Magejosh ha confermato di non poter aprire nuove chat con l’interprete di codice, ma poteva caricare file in chat precedentemente aperte. Ha notato errori più frequenti e dimenticanze delle istruzioni, ma ha presunto che ciò fosse dovuto alla manutenzione. EricGT ha condiviso un altro aggiornamento di manutenzione dalla pagina di stato di OpenAI.

Due osservazioni

  • L’ora o la sequenza degli eventi sono importanti e mancano nel riassunto
  • Ci sono molte informazioni critiche nelle immagini che non vengono estratte per il riassunto, forse si può usare l’OCR.
24

L’argomento originale è nella categoria Lounge su OpenAI Discourse a cui la maggior parte non può accedere.

Pubblicato qui affinché Roman e Falco possano vederlo e anche per risparmiare a Sam il lavoro di riportare questo; Sam sta facendo un ottimo lavoro rimanendo in contatto sulla sintesi presso OpenAI.

Mi piace l’idea del riavvio.

Considera anche argomenti simili che dovrebbero essere uniti in uno, ad esempio

2 Mi Piace
25

14 messaggi sono stati divisi in un nuovo argomento: Aggiungere ulteriore supporto linguistico per i riassunti AI

40

C’è un modo per cancellare i riassunti memorizzati nella cache dall’uso di altri LLM? Chiedo perché un LLM mi ha dato questa perla di riassunto, quindi da allora sono passato a un altro, ma non sono sicuro di come rimuovere questo vecchio riassunto dal sistema del forum.

image
image1604×1392 238 KB

41

Attualmente il personale può rigenerare i riepiloghi dopo 1 ora. Un altro modo è utilizzare la console Ruby per eliminare un riepilogo memorizzato nella cache specifico dal database.

3 Mi Piace
42

Tra l’altro, non abbiamo trovato i modelli di riepilogo esistenti sufficientemente validi per Discourse e siamo passati all’uso di LLM per questo. Se disponi di un server con sufficiente VRAM GPU, l’esecuzione di un LLM basato su Llama2 ti darà ottimi risultati per #ai-summarization e ai-helper. Ho aggiornato Discourse AI - Self-Hosted Guide con istruzioni di base su come eseguire tale LLM.

2 Mi Piace
43

Mi infastidisce quando la gente fa questa domanda, ma puoi darmi un’idea di cosa sia “abbastanza”?

Forse ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 Scheda Grafica da Gioco (PCIe 4.0, Memoria GDDR6 da 12GB, HDMI 2.1, DisplayPort 1.4a, 2 Slot, Design Ventola Axial-tech, Tecnologia 0dB) Amazon.com: ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 Gaming Graphics Card (PCIe 4.0, 12GB GDDR6 Memory, HDMI 2.1, DisplayPort 1.4a, 2-Slot, Axial-tech Fan Design, 0dB Technology) : Electronics

1 Mi Piace
44

Dovresti dare un’occhiata alla modifica che ho linkato sopra, contiene proprio questo!

Ma la versione più lunga è che la quantizzazione ti consente di scambiare qualità e velocità per l’esecuzione su specifiche inferiori. Se vuoi eseguire i migliori modelli, senza quantizzazione hai bisogno di circa 160 GB di VRAM. Se accetti una qualità, velocità, latenza, ecc. peggiori, puoi usarne il 5%.

Abbiamo risultati “abbastanza buoni” che eseguono il modello che uso come esempio lì, che a malapena funziona su una macchina con 96 GB di VRAM.

3 Mi Piace
45

Potrei non trovarlo, quindi perdonami se è così, ma dov’è l’opzione per forzare una nuova rigenerazione per lo staff?

46

Mi scuso per il ripescaggio, ma non sono riuscito a trovare il metodo per cui il personale possa rigenerare i riassunti dopo 1 ora. Questa finestra di 1 ora richiede che sia stata data una risposta all’argomento, c’è una combinazione segreta dell’interfaccia utente da eseguire per accedervi, ecc.?

47

C’è un modo per utilizzare la strategia di riepilogo di Anthropic's claude-2, utilizzando AWS Bedrock con accesso Anthropic (l’AI Chat Bot ha questa opzione)?

Attualmente, entrambi i modelli Anthropic possono essere selezionati solo se è configurata la ai_anthropic_api_key.

1 Mi Piace
48

Sì, devi\n\n- Impostare ai_anthropic_api_key su ‘a’ (per aggirare la convalida)\n- Inserire le tue credenziali Bedrock\n- Selezionare Claude 2 come modello di riepilogo\n\nAbbiamo in programma una revisione del modo in cui i modelli / inferenza / API possono essere selezionati nell’interfaccia utente, ma nel frattempo questo funzionerà per te.

4 Mi Piace
49

Feedback.

Per la maggior parte, il riepilogo funziona bene.

Per i link alle immagini nel post, i link non sono corretti.

ad es.

Seguendo alcune fotografie condivise da [Foxabilo](/t/-/475167/13; /t/-/475167/24; /t/-/475167/34; /t/-/475167/37)

50

Questa è parte della solita questione delle lingue… ma qualcuno ha un’idea del perché a volte la sintesi rispetta la lingua dell’argomento e a volte usa l’inglese? Sembra che succeda in modo totalmente casuale.

E la domanda effettiva potrebbe essere se esiste un prompt di sistema in cui possiamo suggerire la lingua utilizzata o se proviene dallo strumento di sintesi?

1 Mi Piace
51

Al momento è codificato internamente, ma prevediamo di consentire flessibilità in questo senso.

Ad alcune persone piacciono riepiloghi più lunghi, ad altre più brevi… ecc…

4 Mi Piace
54

Questo testo potrebbe necessitare di un aggiornamento in quanto credo supporti anche Gemini.

Inoltre, un feedback sull’interfaccia utente delle impostazioni: c’è stato un motivo particolare per cui le impostazioni summarization_strategy e custom summarization allowed groups sono state spostate nella pagina Others invece di essere nella pagina Discourse AI insieme al resto delle impostazioni AI? Ci è voluto un po’ per trovarle e si stanno perdendo tra un insieme di impostazioni non correlate.

55

Come si attiva/disattiva questa funzionalità? Non vedo il pulsante Riassumi per argomenti con il numero richiesto di post e vedo anche messaggi nei log di errore, quindi voglio provare ad attivarlo e disattivarlo di nuovo.

56

Come possiamo disabilitare completamente Riassumi con l’IA?
La qualità è davvero pessima e trovo il pulsante inutile: vorrei rimuoverlo.

IMG_7212
IMG_72121170×538 57.8 KB

57

Nello stesso modo in cui l’hai abilitata con l’impostazione summarization strategy. Per disabilitarla puoi reimpostarla al valore predefinito del sito.

Quale modello stai utilizzando? Abbiamo scoperto che Claude 3 Opus offre le migliori prestazioni in questo compito.