Discourse AI - Resumir

Documentação Gerenciamento do Site
, ,
1

:bookmark: Este tópico cobre a configuração do recurso Resumir do plugin Discourse AI.

:person_raising_hand: Nível de usuário necessário: Administrador

Resuma tópicos e canais de chat para um rápido resumo. Use-o em mega tópicos e discussões grandes para descobrir o que está acontecendo.

Chat channel summarize option
Chat channel summarize option542×618 27.5 KB

Funcionalidades

  • Resumir tópicos do mapa de tópicos (topo e rodapé do tópico)
  • Resumir canais de chat por um período específico (até 7 dias)
  • Resumos em cache em tópicos gerados anteriormente
  • Regenerar resumos antigos
  • Visualizar data do resumo e modelo de IA utilizado

Habilitando Resumir

Pré-requisitos

Você deve configurar pelo menos um Modelo de Linguagem Grande (LLM) de um provedor.

Para começar, você pode configurá-los através da página de configurações do Discourse AI - Large Language Model (LLM).

Configuração

  1. Vá para as configurações Admin → Plugins → aba AI → Settings e certifique-se de que está habilitado (discourse ai enabled)
  2. Defina o LLM a ser usado através de ai summarization model
  3. Marque ai summarization enabled para habilitar Resumir
  4. Recomendamos definir quais grupos de usuários podem gerar e visualizar resumos através de ai custom summarization allowed groups
  5. (Opcional) Habilite resumos de mensagens privadas (PM) para grupos de usuários específicos através de ai pm summarization allowed groups

Os auto-hospedeiros precisarão configurar o seguinte:

  • ai_summarization_discourse_service_api_endpoint
  • ai_summarization_discourse_service_api_key

FAQ Técnico

O Resumir armazena resultados em cache?

  • O Resumir armazena resultados em cache e até os disponibiliza para todos os usuários fora dos grupos de usuários selecionados.

Observações

  • Os resultados do Resumir podem não ser 100% precisos, portanto, certifique-se de verificar cuidadosamente qualquer resultado.
  • As chamadas de LLM podem ser caras. Recomendamos habilitar o Resumir para grupos de usuários específicos para ajudar a controlar os custos.
20 curtidas
18

Pergunta

Resumo

Hoje, o resumo foi ativado no fórum da OpenAI. Ao discutir com um usuário, descobri que, para moderadores, vemos Resumir este tópico com muito menos conteúdo do que outros usuários.

Como moderadores, obtemos a opção Resumir este tópico

  • Para fórum - uma postagem de tópico seguida por uma postagem de resposta mostrará a opção
  • Para mensagem direta - uma postagem de tópico mostrará a opção

Tentei encontrar documentação sobre isso e não encontrei nada. Perdi alguma coisa?

Feedback sobre o resumo

OMG! Isso é perfeito!

Precisamos de resumo, e precisamos dele agora!

(ref)

O tópico de resumo mencionado está logo acima dessa resposta, aqui.

Sugestão

Solte automaticamente uma resposta de resumo em tópicos com muitas respostas e muitas visualizações, especialmente tópicos relacionados a discussões.

Obviamente, precisa haver algumas configurações para que possa ser personalizado com que frequência e quais tópicos, o que pode exigir que a IA selecione.

Além disso, identifique a(s) resposta(s) de resumo de forma que o código de resumo não use nenhuma resposta de resumo, pois isso pode distorcer a relevância das informações para resumos futuros.

Nos últimos dias, como moderador, tenho selecionado manualmente tópicos e adicionado resumos do Discourse AI como respostas. O feedback, embora limitado, tem sido positivo.

Exemplos

Sugestão maluca

Criar site de notícias do Discourse

Todos os dias visito muitos sites para obter atualizações. Alguns desses sites fornecem artigos de notícias sobre as últimas tendências de IA. Muitos desses artigos de notícias são, na verdade, apenas muitas frases únicas de fatos. Um artigo de notícias que li esta manhã foi retirado do fórum OpenAI Discourse e dos fóruns Discord. Ao usar o resumo para esse tópico, notei que o que foi gerado foi tão bom ou melhor do que o artigo de notícias.

Agora, muitos de nós sabemos sobre Hacker News.

Então, por que não ter notícias do Discourse que puxam notícias com base em sites do Discourse que concordam em ter conteúdo disponibilizado no site de notícias do Discourse. Obviamente, haveria opções de opt-in para cada site, usuário e tópico, mas você nunca sabe, pode se tornar uma nova fonte de informação para The Pile e, se também for feito com a devida aprovação, seria um benefício para muitos.

Feedback

Criei um resumo para este tópico, mas não o postei publicamente

O resumo foi criado após esta postagem (número 5)

Resumo

O usuário jy.genre relatou o interpretador de código offline com uma imagem carregada. EricGT respondeu, dizendo que estava ativo para ele e produziu código. Eles também compartilharam imagens do fórum Discourse e da página de status da OpenAI mostrando uma mensagem de manutenção, que eles não tinham visto antes. Eles também compartilharam mensagens de manutenção atualizadas. Markanthonykoop também relatou ter visto um pop-up de manutenção e já havia experimentado o serviço em loop anteriormente. Magejosh confirmou que não conseguia abrir novos chats do interpretador de código, mas conseguia carregar arquivos em chats abertos anteriormente. Eles notaram erros mais frequentes e esquecimento de instruções, mas presumiram que isso se devia à manutenção. EricGT compartilhou outra atualização de manutenção da página de status da OpenAI.

Duas observações

  • A hora ou sequência dos eventos é importante e está faltando no resumo
  • Há muitas informações críticas nas imagens que não estão sendo extraídas para o resumo, talvez o OCR possa ser usado.
24

O tópico original está na categoria Lounge no OpenAI Discourse, à qual a maioria não tem acesso.

Postado aqui para Roman e Falco verem e também para poupar Sam do trabalho de repassar isso; Sam está se saindo muito bem em manter contato sobre sumarização na OpenAI.

Gosto da ideia de reiniciar.

Considere também tópicos semelhantes que devem ser mesclados em um, por exemplo:

2 curtidas
25

14 posts foram divididos em um novo tópico: Adicionar mais suporte de idioma para resumos de IA

40

Existe uma maneira de limpar resumos em cache de outros LLMs? Pergunto porque um LLM me deu esta pérola de resumo, então desde então mudei para outro, mas não tenho certeza de como remover este resumo antigo do sistema do fórum.

image
image1604×1392 238 KB

41

Atualmente, a equipe pode regenerar resumos após 1 hora. Outra maneira é usar o console Ruby para excluir um resumo específico em cache do banco de dados.

3 curtidas
42

A propósito, não achamos os modelos de sumarização existentes bons o suficiente para o Discourse e passamos a usar LLMs para isso. Se você tiver um servidor com VRAM de GPU suficiente, executar um LLM baseado em Llama2 trará ótimos resultados para #ai-summarization e ai-helper. Atualizei o Guia de Auto-hospedagem do Discourse AI com instruções básicas sobre como executar tal LLM.

2 curtidas
43

Fico irritado quando as pessoas perguntam isso, mas você pode dar uma dica do que é “suficiente”?

Talvez Placa de Vídeo Gamer ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 (PCIe 4.0, Memória GDDR6 de 12GB, HDMI 2.1, DisplayPort 1.4a, 2 Slots, Design de Ventoinha Axial-tech, Tecnologia 0dB) Amazon.com: ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 Gaming Graphics Card (PCIe 4.0, 12GB GDDR6 Memory, HDMI 2.1, DisplayPort 1.4a, 2-Slot, Axial-tech Fan Design, 0dB Technology) : Electronics

1 curtida
44

Você deveria dar uma olhada na edição que linkei acima, ela tem exatamente isso!

Mas a versão mais longa é que a quantização permite que você troque qualidade e velocidade para rodar em especificações mais baixas. Se você quiser rodar os melhores modelos, sem quantização você precisa de cerca de 160 GB de VRAM. Se você aceitar pior qualidade, velocidade, latência, etc., você pode usar 5% disso.

Temos resultados “bons o suficiente” rodando o modelo que uso como exemplo lá, que mal roda em uma máquina com 96 GB de VRAM.

3 curtidas
45

Posso estar perdendo, então me perdoe se estiver, mas onde fica a opção para forçar uma nova regeneração para a equipe?

46

Desculpe por reabrir o tópico, mas não consegui encontrar o método para a equipe regenerar resumos após 1 hora. Essa janela de 1 hora exige que uma resposta tenha sido feita ao tópico, existe alguma combinação secreta de interface do usuário que precise ser realizada para acessar isso, etc.?

47

Existe alguma maneira de usar a estratégia de sumarização Anthropic's claude-2, usando AWS Bedrock com acesso Anthropic (o Chat Bot de IA tem essa opção)?

Atualmente, qualquer modelo Anthropic só pode ser selecionado se ai_anthropic_api_key for configurado.

1 curtida
48

Sim, você precisa\n\n- Definir ai_anthropic_api_key como ‘a’ (para ignorar a validação)\n- Preencher suas credenciais do Bedrock\n- Selecionar Claude 2 como o modelo de sumarização\n\nTemos uma reformulação planejada da forma como os modelos / inferência / APIs podem ser selecionados na interface do usuário, mas isso funcionará para você no ínterim.

4 curtidas
49

Feedback.

Na maior parte, o resumo está funcionando bem.

Para links de imagens na postagem, os links não estão corretos.

por exemplo.

Seguindo algumas fotografias compartilhadas por [Foxabilo](/t/-/475167/13; /t/-/475167/24; /t/-/475167/34; /t/-/475167/37)

50

Esta é parte da boa e velha questão das línguas… mas alguém tem uma ideia de por que às vezes a sumarização respeita o idioma do tópico e às vezes usa o inglês? Parece que acontece totalmente aleatoriamente.

E a pergunta real poderia ser: existe um prompt de sistema onde podemos sugerir o idioma usado ou isso vem da ferramenta de sumarização?

1 curtida
51

Isso está codificado internamente no momento, mas planejamos permitir flexibilidade aqui.

Algumas pessoas gostam de resumos mais longos, outras preferem mais curtos… etc…

4 curtidas
54

Este texto pode precisar de uma atualização, pois acredito que ele também suporta Gemini.

Além disso, em relação ao feedback sobre a interface do usuário das configurações, houve algum motivo específico para que as configurações summarization_strategy e custom summarization allowed groups fossem movidas para a página Others em vez de ficarem na página Discourse AI, junto com o restante das configurações de IA? Demorou um tempo para encontrar isso e está se perdendo entre um conjunto de configurações não relacionadas.

55

Como ativar/desativar este recurso? Não estou vendo o botão Resumir para tópicos com o número necessário de postagens e também estou vendo mensagens nos logs de erro, então quero tentar desativá-lo e ativá-lo novamente.

56

Como podemos desativar completamente o Resumir com IA?
A qualidade é muito ruim e acho o botão inteiro inútil - gostaria de removê-lo.

IMG_7212
IMG_72121170×538 57.8 KB

57

Da mesma forma que você a ativou com a configuração summarization strategy. Para desativá-la, você pode redefini-la para o valor de configuração padrão do site.

Qual modelo você está usando? Descobrimos que o Claude 3 Opus tem o melhor desempenho nesta tarefa.