Installatievraag: AI-samenvatting in Discourse en LLM-integratie

[S.AAKASH_MUTHIAH]

Hallo Discourse Support Team,

Ik heb een paar vragen over het gebruik van AI-samenvatting in Discourse en ik zou het op prijs stellen als u mij kunt helpen met het instellen:

1. AI-samenvatting initialiseren:

   • Welke stappen moet ik volgen om AI-samenvatting in Discourse te activeren en te configureren?
   • Zijn er plug-ins nodig om te beginnen met AI-samenvatting? Zo ja, welke en waar kan ik ze vinden?

2. Onze eigen LLM gebruiken (van Dify):

   • Is het mogelijk om onze aangepaste LLM, gemaakt via de Dify-applicatie, te integreren voor samenvattingstaken in Discourse? Zo ja, hoe kunnen we dat doen via een API?
   • Kunt u API-documentatie of integratiegidsen verstrekken voor het verbinden van externe LLM’s met Discourse?

3. Kosten van AI-modellen in Discourse:

   • Beschikbare LLM-modellen: Welke verschillende AI-samenvattingsmodellen zijn beschikbaar in Discourse en hoe kies ik ertussen?
   • Gratis vs. betaalde modellen: Zijn sommige LLM-modellen gratis te gebruiken, of zijn er kosten verbonden aan allemaal?
   • Gebruiksbeperkingen: Zijn er beperkingen op het gebruik van gratis modellen, zoals dagelijkse verzoeklimieten of tokenbeperkingen?
   • Kostenmetrieken: Wat is de prijsstructuur voor elk model, inclusief eventuele kosten per verzoek of per token? Als er meerdere prijsniveaus zijn, kunt u dan een uitsplitsing geven voor elk model?

4. Aanvullende informatie:

   • Laat het me weten als er aanvullende overwegingen of stappen zijn die ik moet nemen om de AI-samenvattingsfuncties in Discourse volledig te benutten.

Alvast bedankt voor uw hulp!

[NateDhaliwal]

Hi @S.AAKASH_MUTHIAH , most of your queries can be answered in the docs for the AI plugin here.

---

@S.AAKASH_MUTHIAH

What steps do I need to follow to activate and configure AI summarization in Discourse?

See:

Discourse AI - Summarize

This topic covers the configuration of the Summarize feature of the Discourse AI plugin. Required user level: Administrator Summarize topics and chat channels for a quick recap. Use it in mega topics and large discussions to figure out what’s happening. [Chat channel summarize option] Features Summarize topics from topic map (top and bottom of topic) Summarize Chat channels for specific duration of time (up to 7 days) Cached summaries in prior gen…

And:

Summarize - Gists

This guide explains how to enable and configure Gists, which is part of the Summarize feature of the Discourse AI plugin. Required user level: Administrator This feature isn’t yet available on discourse.org hosting Gists are short AI summaries to help you get a quick overview from topic lists. Features Auto backfills short summaries of topics Toggleable between compact and expanded (with AI summary) topic views Available for all topic views, …

---

@S.AAKASH_MUTHIAH

Are there any plugins required to get started with AI summarization? If so, which ones, and where can I find them?

Yes, the ai plugin. It is included in core if you’re updated, just go to /admin/plugins to enable and configure it.

---

@S.AAKASH_MUTHIAH

Available LLM Models: What are the different AI summarization models available in Discourse, and how do I choose between them?

What LLM to use for Discourse AI?

It’s important to understand the needs of you as the community admin and your members when choosing a Large Language Model (LLM) to power Discourse AI features. Several factors may influence your decisions: Performance for use-case: Are you looking for the best-performing model? Performance can vary depending on the task (e.g., summarization, search, complex reasoning, spam detection). Assessment is based on the model’s ability to generate correct, relevant, and coherent responses. Context …

---

@S.AAKASH_MUTHIAH

Free vs Paid Models: Are any of the LLM models free to use, or is there a cost associated with all of them?

Most are paid, but you can take a look at OpenRouter, which provides some free models as well.

---

@S.AAKASH_MUTHIAH

Usage Restrictions: Are there any limitations on usage for free models, such as daily request limits or token restrictions?

AFAIK this will be up to your provider, but CMIIW you can enforce limits in Discourse as well.

Maybe see:

Estimating costs of using LLMs for Discourse AI

In order to use certain Discourse AI features, users are required to use a Large Language Model (LLM) provider. Please see each AI feature to determine which LLMs are compatible. If cost is a significant worry, one way to combat that is to set usage limits right from the vendor and use a monthly budget. Another option is to only let select users and groups access the AI features There are several variable factors to consider when calculating the costs of using…

---

@S.AAKASH_MUTHIAH

Cost Metrics: What is the pricing structure for each model, including any per-request or per-token costs? If there are multiple pricing tiers, can you provide a breakdown for each model?

That will be up to your AI LLM provider; they differ.

---

See all the docs for the AI plugin here.

For the settings offered in the plugin, see this guide.

---

Hope this helps!

[S.AAKASH_MUTHIAH]

Hallo,
Hartelijk dank voor uw snelle en behulpzame reactie!

Ik heb de plugin-opties op mijn Discourse-instantie gecontroleerd, maar ik zie daar niets staan dat verband houdt met AI. Ik heb een afbeelding bijgevoegd met de beschikbare plugin-opties van mijn kant — kunt u alstublieft een kijkje nemen en mij laten weten of ik iets over het hoofd zie?

[NateDhaliwal]

Gebruik je de nieuwste versie die de tests heeft doorstaan?

[S.AAKASH_MUTHIAH]

my current version

[NateDhaliwal]

Probeer je forum bij te werken en kijk of dat werkt.

[S.AAKASH_MUTHIAH]

Thank you, It worked now.

I have a question. I created a workflow on DIFY and now I want to use that workflow’s API to integrate my own LLM. Could you also let me know what format the input should be sent in?
And where to add API.
And what option need to be clicked to configure our own.

[S.AAKASH_MUTHIAH]

I found one thing is it this page where i need to configure settings?

If yes what option i should select from this dropdown

[NateDhaliwal]

Als je ‘Handmatige configuratie’ kiest op de LLM-pagina en je sleutels daar invoert, werkt het dan?

Ik heb de AI-plugin al een tijdje niet meer gebruikt, dus mijn geheugen is een beetje wazig.

[S.AAKASH_MUTHIAH]

Ik wil graag begrijpen welk type invoer naar het API-eindpunt van Discourse zal worden verzonden.

[tobiaseigen]

@S.AAKASH_MUTHIAH hoe vordert het instellen van AI op uw site? Ik ga dit onderwerp sluiten - u kunt altijd nieuwe onderwerpen starten als u nieuwe vragen heeft.

Zoals @NateDhaliwal aangaf, worden veel van uw vragen beantwoord in de documentatie. Raadpleeg deze voordat u vragen stelt.