Discourse AI - Resumir

Documentação Gerenciamento do Site
, ,
1

:bookmark: Este tópico aborda a configuração do recurso Summarize (Resumo) do plugin Discourse AI.

:person_raising_hand: Nível de usuário necessário: Administrador

Resuma tópicos e canais de chat para uma revisão rápida. Use-o em tópicos grandes e discussões extensas para entender o que está acontecendo.

Chat channel summarize option
Chat channel summarize option542×618 27.5 KB

Recursos

  • Resumir tópicos a partir do mapa do tópico (parte superior e inferior do tópico)
  • Resumir canais de Chat para um período específico (até 7 dias)
  • Resumos em cache em tópicos gerados anteriormente
  • Regenerar resumos antigos
  • Visualizar a data do resumo e o modelo de IA utilizado

Habilitando o Summarize

Pré-requisitos

Você deve configurar pelo menos um Modelo de Linguagem Grande (LLM) de um provedor.

Para começar, você pode configurá-los através da página de configurações do Discourse AI - Large Language Model (LLM).

Configuração

  1. Vá para Admin → Plugins → AI → Features e certifique-se de que o plugin está habilitado (discourse ai enabled)
  2. Selecione o Agente de IA a ser usado para a sumarização através de ai summarization agent (um agente Summarizer padrão já está pré-configurado)
  3. Marque ai summarization enabled para habilitar o Summarize
  4. Configure quais grupos de usuários podem gerar e visualizar resumos editando os grupos permitidos no agente Summarizer (em Admin → Plugins → AI → Agents)
  5. (Opcional) Habilite resumos de mensagens privadas (PM) para grupos de usuários específicos através de ai pm summarization allowed groups

FAQ Técnico

O Summarize faz cache dos resultados?

  • O Summarize faz cache dos resultados e os torna disponíveis para todos os usuários, mesmo fora dos grupos de usuários selecionados.

Observações

  • As saídas do Summarize podem não ser 100% precisas, portanto, certifique-se de verificar qualquer saída cuidadosamente.
  • As chamadas de LLM podem ser caras. Recomendamos habilitar o Summarize para grupos de usuários específicos para ajudar a controlar os custos.
20 Curtiram
Discourse AI
Discourse AI - Self-Hosted Guide
Configuring Discourse AI for Summarization
Summarise with AI button... new?
ChatGPT Assistant Integration
Setup Inquiry: AI Summarization in Discourse & LLM Integration
Set up Gemini API Keys for Discourse AI
New Experiment: Enable AI Summarize on your Discourse with one-click!
New Experiment: Enable AI Summarize on your Discourse with one-click!
Managing user groups for summarization features
Disable Likes
Summarising topics with an LLM (GPT, BERT, ...)?
My Wiki of useful Meta (and other) links
Summarize - Gists
18

Pergunta

Resumo

Hoje, o resumo foi ativado no fórum da OpenAI. Ao discutir com um usuário, descobri que, para moderadores, vemos Resumir este tópico com muito menos conteúdo do que outros usuários.

Como moderadores, obtemos a opção Resumir este tópico

  • Para fórum - uma postagem de tópico seguida por uma postagem de resposta mostrará a opção
  • Para mensagem direta - uma postagem de tópico mostrará a opção

Tentei encontrar documentação sobre isso e não encontrei nada. Perdi alguma coisa?

Feedback sobre o resumo

OMG! Isso é perfeito!

Precisamos de resumo, e precisamos dele agora!

(ref)

O tópico de resumo mencionado está logo acima dessa resposta, aqui.

Sugestão

Solte automaticamente uma resposta de resumo em tópicos com muitas respostas e muitas visualizações, especialmente tópicos relacionados a discussões.

Obviamente, precisa haver algumas configurações para que possa ser personalizado com que frequência e quais tópicos, o que pode exigir que a IA selecione.

Além disso, identifique a(s) resposta(s) de resumo de forma que o código de resumo não use nenhuma resposta de resumo, pois isso pode distorcer a relevância das informações para resumos futuros.

Nos últimos dias, como moderador, tenho selecionado manualmente tópicos e adicionado resumos do Discourse AI como respostas. O feedback, embora limitado, tem sido positivo.

Exemplos

Sugestão maluca

Criar site de notícias do Discourse

Todos os dias visito muitos sites para obter atualizações. Alguns desses sites fornecem artigos de notícias sobre as últimas tendências de IA. Muitos desses artigos de notícias são, na verdade, apenas muitas frases únicas de fatos. Um artigo de notícias que li esta manhã foi retirado do fórum OpenAI Discourse e dos fóruns Discord. Ao usar o resumo para esse tópico, notei que o que foi gerado foi tão bom ou melhor do que o artigo de notícias.

Agora, muitos de nós sabemos sobre Hacker News.

Então, por que não ter notícias do Discourse que puxam notícias com base em sites do Discourse que concordam em ter conteúdo disponibilizado no site de notícias do Discourse. Obviamente, haveria opções de opt-in para cada site, usuário e tópico, mas você nunca sabe, pode se tornar uma nova fonte de informação para The Pile e, se também for feito com a devida aprovação, seria um benefício para muitos.

Feedback

Criei um resumo para este tópico, mas não o postei publicamente

O resumo foi criado após esta postagem (número 5)

Resumo

O usuário jy.genre relatou o interpretador de código offline com uma imagem carregada. EricGT respondeu, dizendo que estava ativo para ele e produziu código. Eles também compartilharam imagens do fórum Discourse e da página de status da OpenAI mostrando uma mensagem de manutenção, que eles não tinham visto antes. Eles também compartilharam mensagens de manutenção atualizadas. Markanthonykoop também relatou ter visto um pop-up de manutenção e já havia experimentado o serviço em loop anteriormente. Magejosh confirmou que não conseguia abrir novos chats do interpretador de código, mas conseguia carregar arquivos em chats abertos anteriormente. Eles notaram erros mais frequentes e esquecimento de instruções, mas presumiram que isso se devia à manutenção. EricGT compartilhou outra atualização de manutenção da página de status da OpenAI.

Duas observações

  • A hora ou sequência dos eventos é importante e está faltando no resumo
  • Há muitas informações críticas nas imagens que não estão sendo extraídas para o resumo, talvez o OCR possa ser usado.
24

O tópico original está na categoria Lounge no OpenAI Discourse, à qual a maioria não tem acesso.

Postado aqui para Roman e Falco verem e também para poupar Sam do trabalho de repassar isso; Sam está se saindo muito bem em manter contato sobre sumarização na OpenAI.

Gosto da ideia de reiniciar.

Considere também tópicos semelhantes que devem ser mesclados em um, por exemplo:

2 Curtiram
25

14 posts foram divididos em um novo tópico: Adicionar mais suporte de idioma para resumos de IA

40

Existe uma maneira de limpar resumos em cache de outros LLMs? Pergunto porque um LLM me deu esta pérola de resumo, então desde então mudei para outro, mas não tenho certeza de como remover este resumo antigo do sistema do fórum.

image
image1604×1392 238 KB

41

Atualmente, a equipe pode regenerar resumos após 1 hora. Outra maneira é usar o console Ruby para excluir um resumo específico em cache do banco de dados.

3 Curtiram
42

A propósito, não achamos os modelos de sumarização existentes bons o suficiente para o Discourse e passamos a usar LLMs para isso. Se você tiver um servidor com VRAM de GPU suficiente, executar um LLM baseado em Llama2 trará ótimos resultados para #ai-summarization e ai-helper. Atualizei o Guia de Auto-hospedagem do Discourse AI com instruções básicas sobre como executar tal LLM.

3 Curtiram
43

Fico irritado quando as pessoas perguntam isso, mas você pode dar uma dica do que é “suficiente”?

Talvez Placa de Vídeo Gamer ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 (PCIe 4.0, Memória GDDR6 de 12GB, HDMI 2.1, DisplayPort 1.4a, 2 Slots, Design de Ventoinha Axial-tech, Tecnologia 0dB) Amazon.com: ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 Gaming Graphics Card (PCIe 4.0, 12GB GDDR6 Memory, HDMI 2.1, DisplayPort 1.4a, 2-Slot, Axial-tech Fan Design, 0dB Technology) : Electronics

1 Curtiu
44

Você deveria dar uma olhada na edição que linkei acima, ela tem exatamente isso!

Mas a versão mais longa é que a quantização permite que você troque qualidade e velocidade para rodar em especificações mais baixas. Se você quiser rodar os melhores modelos, sem quantização você precisa de cerca de 160 GB de VRAM. Se você aceitar pior qualidade, velocidade, latência, etc., você pode usar 5% disso.

Temos resultados “bons o suficiente” rodando o modelo que uso como exemplo lá, que mal roda em uma máquina com 96 GB de VRAM.

3 Curtiram
45

Posso estar perdendo, então me perdoe se estiver, mas onde fica a opção para forçar uma nova regeneração para a equipe?

46

Desculpe por reabrir o tópico, mas não consegui encontrar o método para a equipe regenerar resumos após 1 hora. Essa janela de 1 hora exige que uma resposta tenha sido feita ao tópico, existe alguma combinação secreta de interface do usuário que precise ser realizada para acessar isso, etc.?

47

Existe alguma maneira de usar a estratégia de sumarização Anthropic's claude-2, usando AWS Bedrock com acesso Anthropic (o Chat Bot de IA tem essa opção)?

Atualmente, qualquer modelo Anthropic só pode ser selecionado se ai_anthropic_api_key for configurado.

1 Curtiu
48

Sim, você precisa\n\n- Definir ai_anthropic_api_key como ‘a’ (para ignorar a validação)\n- Preencher suas credenciais do Bedrock\n- Selecionar Claude 2 como o modelo de sumarização\n\nTemos uma reformulação planejada da forma como os modelos / inferência / APIs podem ser selecionados na interface do usuário, mas isso funcionará para você no ínterim.

4 Curtiram
49

Feedback.

Na maior parte, o resumo está funcionando bem.

Para links de imagens na postagem, os links não estão corretos.

por exemplo.

Seguindo algumas fotografias compartilhadas por [Foxabilo](/t/-/475167/13; /t/-/475167/24; /t/-/475167/34; /t/-/475167/37)

50

Esta é parte da boa e velha questão das línguas… mas alguém tem uma ideia de por que às vezes a sumarização respeita o idioma do tópico e às vezes usa o inglês? Parece que acontece totalmente aleatoriamente.

E a pergunta real poderia ser: existe um prompt de sistema onde podemos sugerir o idioma usado ou isso vem da ferramenta de sumarização?

1 Curtiu
51

Isso está codificado internamente no momento, mas planejamos permitir flexibilidade aqui.

Algumas pessoas gostam de resumos mais longos, outras preferem mais curtos… etc…

4 Curtiram
54

Este texto pode precisar de uma atualização, pois acredito que ele também suporta Gemini.

Além disso, em relação ao feedback sobre a interface do usuário das configurações, houve algum motivo específico para que as configurações summarization_strategy e custom summarization allowed groups fossem movidas para a página Others em vez de ficarem na página Discourse AI, junto com o restante das configurações de IA? Demorou um tempo para encontrar isso e está se perdendo entre um conjunto de configurações não relacionadas.

55

Como ativar/desativar este recurso? Não estou vendo o botão Resumir para tópicos com o número necessário de postagens e também estou vendo mensagens nos logs de erro, então quero tentar desativá-lo e ativá-lo novamente.

56

Como podemos desativar completamente o Resumir com IA?
A qualidade é muito ruim e acho o botão inteiro inútil - gostaria de removê-lo.

IMG_7212
IMG_72121170×538 57.8 KB

57

Da mesma forma que você a ativou com a configuração summarization strategy. Para desativá-la, você pode redefini-la para o valor de configuração padrão do site.

Qual modelo você está usando? Descobrimos que o Claude 3 Opus tem o melhor desempenho nesta tarefa.