Consulta de configuración: Resumen de IA en Discourse e integración de LLM

[S.AAKASH_MUTHIAH]

Hola equipo de soporte de Discourse,

Tengo algunas preguntas sobre el uso de la resumen de IA en Discourse y agradecería su ayuda para guiarme a través del proceso de configuración:

1. Cómo inicializar el resumen de IA:

   • ¿Qué pasos debo seguir para activar y configurar el resumen de IA en Discourse?
   • ¿Se requieren complementos para comenzar con el resumen de IA? Si es así, ¿cuáles y dónde puedo encontrarlos?

2. Usar nuestro propio LLM (de Dify):

   • ¿Es posible integrar nuestro LLM personalizado, creado a través de la aplicación Dify, para tareas de resumen en Discourse? Si es así, ¿cómo podemos hacerlo usando una API?
   • ¿Pueden proporcionar alguna documentación de API o guías de integración para conectar LLM de terceros a Discourse?

3. Costo de los modelos de IA en Discourse:

   • Modelos de LLM disponibles: ¿Cuáles son los diferentes modelos de resumen de IA disponibles en Discourse y cómo elijo entre ellos?
   • Modelos gratuitos vs. de pago: ¿Hay algún modelo de LLM gratuito, o hay un costo asociado con todos ellos?
   • Restricciones de uso: ¿Existen limitaciones de uso para los modelos gratuitos, como límites de solicitudes diarias o restricciones de tokens?
   • Métricas de costo: ¿Cuál es la estructura de precios para cada modelo, incluidos los costos por solicitud o por token? Si hay varios niveles de precios, ¿pueden proporcionar un desglose para cada modelo?

4. Información adicional:

   • Por favor, hágame saber si hay consideraciones o pasos adicionales que deba tomar para utilizar completamente las funciones de resumen de IA en Discourse.

¡Gracias de antemano por su ayuda!

[NateDhaliwal]

Hola @S.AAKASH_MUTHIAH, la mayoría de tus consultas se pueden responder en la documentación del plugin de IA aquí.

---

@S.AAKASH_MUTHIAH

¿Qué pasos debo seguir para activar y configurar la resumen de IA en Discourse?

Ver:

Discourse AI - Summarize

This topic covers the configuration of the Summarize feature of the Discourse AI plugin. Required user level: Administrator Summarize topics and chat channels for a quick recap. Use it in mega topics and large discussions to figure out what’s happening. [Chat channel summarize option] Features Summarize topics from topic map (top and bottom of topic) Summarize Chat channels for specific duration of time (up to 7 days) Cached summaries in prior gen…

Y:

Summarize - Gists

This guide explains how to enable and configure Gists, which is part of the Summarize feature of the Discourse AI plugin. Required user level: Administrator This feature isn’t yet available on discourse.org hosting Gists are short AI summaries to help you get a quick overview from topic lists. Features Auto backfills short summaries of topics Toggleable between compact and expanded (with AI summary) topic views Available for all topic views, …

---

@S.AAKASH_MUTHIAH

¿Hay algún plugin necesario para empezar con la resumen de IA? Si es así, ¿cuáles y dónde puedo encontrarlos?

Sí, el plugin ai. Está incluido en el núcleo si estás actualizado, solo ve a /admin/plugins para habilitarlo y configurarlo.

---

@S.AAKASH_MUTHIAH

Modelos LLM disponibles: ¿Cuáles son los diferentes modelos de resumen de IA disponibles en Discourse y cómo elijo entre ellos?

What LLM to use for Discourse AI?

It’s important to understand the needs of you as the community admin and your members when choosing a Large Language Model (LLM) to power Discourse AI features. Several factors may influence your decisions: Performance for use-case: Are you looking for the best-performing model? Performance can vary depending on the task (e.g., summarization, search, complex reasoning, spam detection). Assessment is based on the model’s ability to generate correct, relevant, and coherent responses. Context …

---

@S.AAKASH_MUTHIAH

Modelos Gratuitos vs. de Pago: ¿Alguno de los modelos LLM es gratuito, o hay un costo asociado con todos ellos?

La mayoría son de pago, pero puedes echar un vistazo a OpenRouter, que también ofrece algunos modelos gratuitos.

---

@S.AAKASH_MUTHIAH

Restricciones de Uso: ¿Existen limitaciones de uso para los modelos gratuitos, como límites de solicitudes diarias o restricciones de tokens?

Hasta donde sé, esto dependerá de tu proveedor, pero si me equivoco, también puedes aplicar límites en Discourse.

Quizás veas:

Estimating costs of using LLMs for Discourse AI

In order to use certain Discourse AI features, users are required to use a Large Language Model (LLM) provider. Please see each AI feature to determine which LLMs are compatible. If cost is a significant worry, one way to combat that is to set usage limits right from the vendor and use a monthly budget. Another option is to only let select users and groups access the AI features There are several variable factors to consider when calculating the costs of using…

---

@S.AAKASH_MUTHIAH

Métricas de Costo: ¿Cuál es la estructura de precios para cada modelo, incluyendo los costos por solicitud o por token? Si hay varios niveles de precios, ¿puedes proporcionar un desglose para cada modelo?

Eso dependerá de tu proveedor de IA LLM; son diferentes.

---

Consulta toda la documentación del plugin de IA aquí.

Para la configuración que ofrece el plugin, consulta esta guía.

---

¡Espero que esto ayude!

[S.AAKASH_MUTHIAH]

Hola,

¡Muchas gracias por tu respuesta rápida y útil!

Revisé las opciones del plugin en mi instancia de Discourse, pero no veo nada relacionado con IA listado allí. Adjunto una imagen que muestra las opciones de plugin disponibles de mi parte. ¿Podrías echarle un vistazo y decirme si me estoy perdiendo algo?

[NateDhaliwal]

¿Estás en la última versión que pasó las pruebas?

[S.AAKASH_MUTHIAH]

mi versión actual

[NateDhaliwal]

Intenta actualizar tu foro y comprueba si eso funciona.

[S.AAKASH_MUTHIAH]

Gracias, ahora funcionó.

Tengo una pregunta. Creé un flujo de trabajo en DIFY y ahora quiero usar la API de ese flujo de trabajo para integrar mi propio LLM. ¿Podrías también decirme en qué formato se deben enviar las entradas?
¿Y dónde agregar la API?
¿Y qué opción hay que hacer clic para configurar la nuestra?

[S.AAKASH_MUTHIAH]

Encontré una cosa, ¿es en esta página donde necesito configurar los ajustes?

Si es así, ¿qué opción debo seleccionar en este menú desplegable?

[NateDhaliwal]

Si eliges ‘Configuración manual’ en la página de LLMs y pones tus claves allí, ¿funciona?

No he usado el plugin de IA en un tiempo, así que mi memoria al respecto es un poco confusa.

[S.AAKASH_MUTHIAH]

Me gustaría entender el tipo de entrada que se enviará al endpoint de la API desde Discourse.

[tobiaseigen]

@S.AAKASH_MUTHIAH ¿cómo va la configuración de IA en tu sitio? Voy a programar el cierre de este tema; siempre puedes iniciar nuevos temas cuando tengas nuevas preguntas.

Como señaló @NateDhaliwal, muchas de tus preguntas están respondidas en la documentación. Por favor, consulta eso antes de hacer preguntas.