בירור הגדרה: סיכום בינה מלאכותית בשיח ושילוב LLM

[S.AAKASH_MUTHIAH]

שלום לצוות התמיכה של Discourse,

יש לי כמה שאלות בנוגע לשימוש בסיכום AI ב-Discourse, ואשמח לעזרתכם בהדרכה בתהליך ההגדרה:

1. כיצד לאתחל סיכום AI:

   • אילו צעדים עלי לנקוט כדי להפעיל ולהגדיר סיכום AI ב-Discourse?
   • האם נדרשים תוספים כלשהם כדי להתחיל עם סיכום AI? אם כן, אילו מהם, והיכן אוכל למצוא אותם?

2. שימוש ב-LLM שלנו (מ-Dify):

   • האם ניתן לשלב את ה-LLM המותאם אישית שלנו, שנוצר דרך אפליקציית Dify, למשימות סיכום ב-Discourse? אם כן, כיצד נוכל לעשות זאת באמצעות API?
   • האם תוכלו לספק תיעוד API או מדריכי אינטגרציה לחיבור LLMs של צד שלישי ל-Discourse?

3. עלות מודלי AI ב-Discourse:

   • מודלי LLM זמינים: מהם מודלי סיכום ה-AI השונים הזמינים ב-Discourse, וכיצד לבחור ביניהם?
   • מודלים חינמיים לעומת בתשלום: האם ישנם מודלי LLM חינמיים לשימוש, או שיש עלות הקשורה לכולם?
   • הגבלות שימוש: האם ישנן מגבלות שימוש למודלים חינמיים, כגון מגבלות בקשות יומיות או מגבלות טוקנים?
   • מדדי עלות: מהי מבנה התמחור עבור כל מודל, כולל עלויות פר-בקשה או פר-טוקן? אם ישנם מספר רמות תמחור, האם תוכלו לספק פירוט עבור כל מודל?

4. מידע נוסף:

   • אנא הודיעו לי אם ישנם שיקולים נוספים או צעדים שעלי לנקוט כדי לנצל באופן מלא את תכונות הסיכום של AI ב-Discourse.

תודה מראש על עזרתכם!

[NateDhaliwal]

Hi @S.AAKASH_MUTHIAH , most of your queries can be answered in the docs for the AI plugin here.

---

@S.AAKASH_MUTHIAH

What steps do I need to follow to activate and configure AI summarization in Discourse?

See:

Discourse AI - Summarize

This topic covers the configuration of the Summarize feature of the Discourse AI plugin. Required user level: Administrator Summarize topics and chat channels for a quick recap. Use it in mega topics and large discussions to figure out what’s happening. [Chat channel summarize option] Features Summarize topics from topic map (top and bottom of topic) Summarize Chat channels for specific duration of time (up to 7 days) Cached summaries in prior gen…

And:

Summarize - Gists

This guide explains how to enable and configure Gists, which is part of the Summarize feature of the Discourse AI plugin. Required user level: Administrator This feature isn’t yet available on discourse.org hosting Gists are short AI summaries to help you get a quick overview from topic lists. Features Auto backfills short summaries of topics Toggleable between compact and expanded (with AI summary) topic views Available for all topic views, …

---

@S.AAKASH_MUTHIAH

Are there any plugins required to get started with AI summarization? If so, which ones, and where can I find them?

Yes, the ai plugin. It is included in core if you’re updated, just go to /admin/plugins to enable and configure it.

---

@S.AAKASH_MUTHIAH

Available LLM Models: What are the different AI summarization models available in Discourse, and how do I choose between them?

What LLM to use for Discourse AI?

It’s important to understand the needs of you as the community admin and your members when choosing a Large Language Model (LLM) to power Discourse AI features. Several factors may influence your decisions: Performance for use-case: Are you looking for the best-performing model? Performance can vary depending on the task (e.g., summarization, search, complex reasoning, spam detection). Assessment is based on the model’s ability to generate correct, relevant, and coherent responses. Context …

---

@S.AAKASH_MUTHIAH

Free vs Paid Models: Are any of the LLM models free to use, or is there a cost associated with all of them?

Most are paid, but you can take a look at OpenRouter, which provides some free models as well.

---

@S.AAKASH_MUTHIAH

Usage Restrictions: Are there any limitations on usage for free models, such as daily request limits or token restrictions?

AFAIK this will be up to your provider, but CMIIW you can enforce limits in Discourse as well.

Maybe see:

Estimating costs of using LLMs for Discourse AI

In order to use certain Discourse AI features, users are required to use a Large Language Model (LLM) provider. Please see each AI feature to determine which LLMs are compatible. If cost is a significant worry, one way to combat that is to set usage limits right from the vendor and use a monthly budget. Another option is to only let select users and groups access the AI features There are several variable factors to consider when calculating the costs of using…

---

@S.AAKASH_MUTHIAH

Cost Metrics: What is the pricing structure for each model, including any per-request or per-token costs? If there are multiple pricing tiers, can you provide a breakdown for each model?

That will be up to your AI LLM provider; they differ.

---

See all the docs for the AI plugin here.

For the settings offered in the plugin, see this guide.

---

Hope this helps!

[S.AAKASH_MUTHIAH]

שלום,
תודה רבה על התגובה המהירה והמועילה שלך!

בדקתי את אפשרויות התוסף במופע ה-Discourse שלי, אך איני רואה שום דבר שקשור ל-AI מופיע שם. צירפתי תמונה המציגה את אפשרויות התוסף הזמינות אצלי - האם תוכל בבקשה להסתכל ולהודיע לי אם אני מפספס משהו?

[NateDhaliwal]

האם אתה בגרסה האחרונה שעברה בדיקות?

[S.AAKASH_MUTHIAH]

my current version

[NateDhaliwal]

נסה לעדכן את הפורום שלך ולראות אם זה עובד.

[S.AAKASH_MUTHIAH]

Thank you, It worked now.

I have a question. I created a workflow on DIFY and now I want to use that workflow’s API to integrate my own LLM. Could you also let me know what format the input should be sent in?
And where to add API.
And what option need to be clicked to configure our own.

[S.AAKASH_MUTHIAH]

I found one thing is it this page where i need to configure settings?

If yes what option i should select from this dropdown

[NateDhaliwal]

אם תבחר ‘תצורה ידנית’ בדף ה-LLMs, ותכניס שם את המפתחות שלך, האם זה עובד?

לא השתמשתי בתוסף ה-AI זמן מה, אז הזיכרון שלי לגביו מעט מעורפל.

[S.AAKASH_MUTHIAH]

אני רוצה להבין איזה סוג קלט יישלח לנקודת הקצה של ה-API מ-Discourse.

[tobiaseigen]

@S.AAKASH_MUTHIAH איך אתה מסתדר עם הגדרת AI באתר שלך? אני הולך לקבוע מועד לסגירת נושא זה - אתה תמיד יכול לפתוח נושאים חדשים כשיש לך שאלות חדשות.

כפי ש @NateDhaliwal ציין, רבות מהשאלות שלך נענו בתיעוד. אנא עיין בו לפני שתשאל שאלות.