Consulta de Configuração: Resumo de IA em Discourse e Integração de LLM

[S.AAKASH_MUTHIAH]

Olá, Equipe de Suporte do Discourse,

Tenho algumas perguntas sobre o uso de sumarização por IA no Discourse e agradeceria sua ajuda para me guiar no processo de configuração:

1. Como Inicializar a Sumarização por IA:

   • Quais passos preciso seguir para ativar e configurar a sumarização por IA no Discourse?
   • Existem plugins necessários para começar com a sumarização por IA? Se sim, quais e onde posso encontrá-los?

2. Usando Nosso Próprio LLM (do Dify):

   • É possível integrar nosso LLM personalizado, criado através da aplicação Dify, para tarefas de sumarização no Discourse? Se sim, como podemos fazer isso usando uma API?
   • Vocês podem fornecer alguma documentação de API ou guias de integração para conectar LLMs de terceiros ao Discourse?

3. Custo dos Modelos de IA no Discourse:

   • Modelos de LLM Disponíveis: Quais são os diferentes modelos de sumarização por IA disponíveis no Discourse e como escolho entre eles?
   • Modelos Gratuitos vs. Pagos: Algum dos modelos de LLM é gratuito para usar, ou há um custo associado a todos eles?
   • Restrições de Uso: Existem limitações de uso para modelos gratuitos, como limites diários de requisições ou restrições de tokens?
   • Métricas de Custo: Qual é a estrutura de preços para cada modelo, incluindo quaisquer custos por requisição ou por token? Se houver vários níveis de preços, vocês podem fornecer um detalhamento para cada modelo?

4. Informações Adicionais:

   • Por favor, me informem se há considerações adicionais ou passos que preciso tomar para utilizar totalmente os recursos de sumarização por IA no Discourse.

Agradeço antecipadamente pela sua ajuda!

[NateDhaliwal]

Olá @S.AAKASH_MUTHIAH, a maioria das suas perguntas pode ser respondida na documentação do plugin de IA aqui.

---

@S.AAKASH_MUTHIAH

Quais etapas preciso seguir para ativar e configurar a sumarização de IA no Discourse?

Veja:

Discourse AI - Summarize

This topic covers the configuration of the Summarize feature of the Discourse AI plugin. Required user level: Administrator Summarize topics and chat channels for a quick recap. Use it in mega topics and large discussions to figure out what’s happening. [Chat channel summarize option] Features Summarize topics from topic map (top and bottom of topic) Summarize Chat channels for specific duration of time (up to 7 days) Cached summaries in prior gen…

E:

Summarize - Gists

This guide explains how to enable and configure Gists, which is part of the Summarize feature of the Discourse AI plugin. Required user level: Administrator This feature isn’t yet available on discourse.org hosting Gists are short AI summaries to help you get a quick overview from topic lists. Features Auto backfills short summaries of topics Toggleable between compact and expanded (with AI summary) topic views Available for all topic views, …

---

@S.AAKASH_MUTHIAH

Existem plugins necessários para começar com a sumarização de IA? Se sim, quais e onde posso encontrá-los?

Sim, o plugin ai. Ele está incluído no core se você estiver atualizado, basta ir em /admin/plugins para ativá-lo e configurá-lo.

---

@S.AAKASH_MUTHIAH

Modelos LLM Disponíveis: Quais são os diferentes modelos de sumarização de IA disponíveis no Discourse e como escolho entre eles?

What LLM to use for Discourse AI?

It’s important to understand the needs of you as the community admin and your members when choosing a Large Language Model (LLM) to power Discourse AI features. Several factors may influence your decisions: Performance for use-case: Are you looking for the best-performing model? Performance can vary depending on the task (e.g., summarization, search, complex reasoning, spam detection). Assessment is based on the model’s ability to generate correct, relevant, and coherent responses. Context …

---

@S.AAKASH_MUTHIAH

Modelos Gratuitos vs Pagos: Algum dos modelos LLM é gratuito para usar, ou há um custo associado a todos eles?

A maioria é paga, mas você pode dar uma olhada no OpenRouter, que também oferece alguns modelos gratuitos.

---

@S.AAKASH_MUTHIAH

Restrições de Uso: Existem limitações de uso para modelos gratuitos, como limites diários de requisições ou restrições de tokens?

Pelo que sei, isso dependerá do seu provedor, mas se eu estiver errado, você também pode impor limites no Discourse.

Talvez veja:

Estimating costs of using LLMs for Discourse AI

In order to use certain Discourse AI features, users are required to use a Large Language Model (LLM) provider. Please see each AI feature to determine which LLMs are compatible. If cost is a significant worry, one way to combat that is to set usage limits right from the vendor and use a monthly budget. Another option is to only let select users and groups access the AI features There are several variable factors to consider when calculating the costs of using…

---

@S.AAKASH_MUTHIAH

Métricas de Custo: Qual é a estrutura de preços para cada modelo, incluindo quaisquer custos por requisição ou por token? Se houver vários níveis de preços, você pode fornecer um detalhamento para cada modelo?

Isso dependerá do seu provedor de LLM de IA; eles diferem.

---

Veja toda a documentação do plugin de IA aqui.

Para as configurações oferecidas no plugin, veja este guia.

---

Espero que ajude!

[S.AAKASH_MUTHIAH]

Olá,
Muito obrigado pela sua resposta rápida e útil!

Verifiquei as opções do plugin na minha instância do Discourse, mas não vejo nada relacionado a IA listado lá. Anexei uma imagem mostrando as opções de plugin disponíveis do meu lado — você poderia dar uma olhada e me dizer se estou perdendo alguma coisa?

[NateDhaliwal]

Você está na versão mais recente que passou nos testes?

[S.AAKASH_MUTHIAH]

minha versão atual

[NateDhaliwal]

Tente atualizar seu fórum e veja se isso funciona.

[S.AAKASH_MUTHIAH]

Obrigado, funcionou agora.

Tenho uma pergunta. Criei um fluxo de trabalho no DIFY e agora quero usar a API desse fluxo de trabalho para integrar meu próprio LLM. Você também poderia me informar em qual formato a entrada deve ser enviada?
E onde adicionar a API.
E qual opção precisa ser clicada para configurar a nossa própria.

[S.AAKASH_MUTHIAH]

Encontrei uma coisa, é nesta página que preciso configurar as definições?

Se sim, qual opção devo selecionar neste menu suspenso

[NateDhaliwal]

Se você escolher ‘Configuração manual’ na página de LLMs e inserir suas chaves lá, funciona?

Não uso o plugin de IA há algum tempo, então minha memória dele está um pouco nebulosa.

[S.AAKASH_MUTHIAH]

Gostaria de entender o tipo de entrada que será enviada para o endpoint da API a partir do Discourse.

[tobiaseigen]

@S.AAKASH_MUTHIAH como você está progredindo com a configuração de IA em seu site? Vou agendar o encerramento deste tópico - você sempre pode iniciar novos tópicos quando tiver novas perguntas.

Como @NateDhaliwal apontou, muitas de suas perguntas são respondidas na documentação. Por favor, consulte-a antes de fazer perguntas.