Discourse AI - Resumir

Documentación Gestión del sitio
, ,
1

:bookmark: Este tema cubre la configuración de la función de resumen del plugin Discourse AI.

:person_raising_hand: Nivel de usuario requerido: Administrador

Resume temas y canales de chat para un rápido resumen. Úsalo en mega temas y discusiones grandes para averiguar qué está sucediendo.

Chat channel summarize option
Chat channel summarize option542×618 27.5 KB

Características

  • Resume temas desde el mapa del tema (arriba y abajo del tema)
  • Resume canales de chat por un período de tiempo específico (hasta 7 días)
  • Resúmenes en caché en temas generados previamente
  • Regenera resúmenes antiguos
  • Muestra la fecha del resumen y el modelo de IA utilizado

Habilitar Resumen

Prerrequisitos

Debes configurar al menos un Modelo de Lenguaje Grande (LLM) de un proveedor.

Para empezar, puedes configurarlos a través de la página de configuración de Discourse AI - Modelo de Lenguaje Grande (LLM).

Configuración

  1. Ve a la configuración de Admin → Plugins → AI → pestaña Settings y asegúrate de que esté habilitado (discourse ai enabled)
  2. Establece el LLM a utilizar a través de ai summarization model
  3. Marca ai summarization enabled para habilitar Resumen
  4. Recomendamos establecer qué grupos de usuarios pueden generar y ver resúmenes a través de ai custom summarization allowed groups
  5. (Opcional) Habilita resúmenes de mensajes privados (PM) para grupos de usuarios específicos a través de ai pm summarization allowed groups

Los autoalojadores deberán configurar lo siguiente:

  • ai_summarization_discourse_service_api_endpoint
  • ai_summarization_discourse_service_api_key

Preguntas Frecuentes Técnicas

¿Resumen almacena en caché los resultados?

  • Resumen almacena en caché los resultados e incluso los hace disponibles para todos los usuarios fuera de los grupos de usuarios seleccionados.

Advertencias

  • Los resultados de Resumen pueden no ser 100% precisos, así que asegúrate de verificar cualquier resultado cuidadosamente.
  • Las llamadas a LLM pueden ser costosas. Recomendamos habilitar Resumen para grupos de usuarios específicos para ayudar a controlar los costos.
20 Me gusta
18

Pregunta

Resumen

Hoy se activó la función de resumen en el foro de OpenAI. Al discutirlo con un usuario, descubrí que para los moderadores vemos “Resumir este tema” con mucho menos contenido que otros usuarios.

Como moderadores, obtenemos la opción “Resumir este tema”

  • Para el foro: una publicación de tema seguida de una publicación de respuesta mostrará la opción
  • Para mensaje directo: una publicación de tema mostrará la opción

Intenté encontrar documentación sobre esto y no encontré nada. ¿Me perdí algo?

Comentarios sobre la función de resumen

¡Dios mío! ¡Es perfecto!

¡Necesitamos la función de resumen, y la necesitamos ahora!

(ref)

El tema de resumen mencionado está justo encima de esa respuesta, aquí.

Sugerencia

Insertar automáticamente una respuesta de resumen en temas con muchas respuestas y muchas visualizaciones, especialmente en temas de discusión.

Obviamente, debe haber algunas configuraciones para que se pueda personalizar con qué frecuencia y en qué temas, lo que puede requerir que la IA seleccione.

También identificar la(s) respuesta(s) de resumen de tal manera que el código de resumen no utilice ninguna respuesta de resumen, ya que eso podría distorsionar la relevancia de la información para los resúmenes posteriores.

En los últimos días, como moderador, he estado seleccionando temas manualmente y agregando resúmenes de Discourse AI como respuestas. Los comentarios, aunque limitados, han sido positivos.

Ejemplos

Sugerencia loca

Crear un sitio de noticias de Discourse

Todos los días visito muchos sitios para obtener actualizaciones. Algunos de esos sitios proporcionan artículos de noticias sobre las últimas tendencias de IA. Muchos de esos artículos de noticias son en realidad solo muchas frases de hechos. Un artículo de noticias que leí esta mañana se extrajo del foro de OpenAI Discourse y de los foros de Discord. Al usar la función de resumen para ese tema, noté que lo que se generó era tan bueno o mejor que el artículo de noticias.

Ahora, muchos de nosotros conocemos Hacker News.

Entonces, ¿por qué no tener noticias de Discourse que extraigan noticias basadas en sitios de Discourse que acepten que su contenido esté disponible en el sitio de noticias de Discourse? Obviamente, tendría que haber opciones de opt-in para cada sitio, usuario y tema, pero nunca se sabe, podría convertirse en una nueva fuente de información para The Pile y si también se hiciera con la aprobación adecuada, sería un beneficio para muchos.

Comentarios

Creé un resumen para este tema pero no lo publiqué públicamente

El resumen se creó después de esta publicación (número 5)

Resumen

El usuario jy.genre informó que el intérprete de código estaba inactivo con una imagen cargada. EricGT respondió diciendo que estaba activo para él y que producía código. También compartió imágenes del foro de Discourse y de la página de estado de OpenAI que mostraban un mensaje de mantenimiento, que no había visto antes. También compartió mensajes de mantenimiento actualizados. Markanthonykoop también informó haber visto una ventana emergente de mantenimiento y haber experimentado previamente un bucle de servicio. Magejosh confirmó que no podía abrir nuevos chats del intérprete de código, pero podía cargar archivos en chats abiertos previamente. Notó errores más frecuentes y que se olvidaban las instrucciones, pero supuso que se debía al mantenimiento. EricGT compartió otra actualización de mantenimiento de la página de estado de OpenAI.

Dos observaciones

  • El tiempo o la secuencia de los eventos es importante y falta en el resumen
  • Hay mucha información crítica en las imágenes que no se está extrayendo para el resumen, quizás se pueda usar OCR.
24

El tema original está en la categoría Lounge en OpenAI Discourse, a la que la mayoría no puede acceder.

Publicado aquí para que Roman y Falco lo vean y también para ahorrarle a Sam el trabajo de transmitir esto; Sam está haciendo un gran trabajo manteniéndose en contacto sobre la resumen en OpenAI.

Me gusta la idea de reiniciar.

También considere temas similares que deberían fusionarse en uno, por ejemplo:

2 Me gusta
25

14 publicaciones se dividieron en un nuevo tema: Añadir más soporte de idiomas para resúmenes de IA

40

¿Hay alguna forma de borrar los resúmenes en caché de otros LLM? Lo pregunto porque un LLM me dio esta joya de resumen, así que desde entonces he cambiado a otro, pero no estoy seguro de cómo eliminar este resumen antiguo del sistema del foro.

image
image1604×1392 238 KB

41

Actualmente, el personal puede regenerar resúmenes después de 1 hora. Otra forma es usar la consola de Ruby para eliminar un resumen específico en caché de la base de datos.

3 Me gusta
42

Por cierto, no encontramos que los modelos de resumen existentes fueran lo suficientemente buenos para Discourse y hemos optado por utilizar LLMs para esto. Si tienes un servidor con suficiente VRAM de GPU, ejecutar un LLM basado en Llama2 te dará excelentes resultados para #ai-summarization y ai-helper. He actualizado Discourse AI - Self-Hosted Guide con instrucciones básicas sobre cómo ejecutar dicho LLM.

2 Me gusta
43

Me molesta cuando la gente pregunta esto, pero ¿puedes dar una pista de qué es “suficiente”?

Quizás ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 Tarjeta Gráfica para Gaming (PCIe 4.0, 12GB de Memoria GDDR6, HDMI 2.1, DisplayPort 1.4a, 2 Ranuras, Diseño de Ventilador Axial-tech, Tecnología 0dB) Amazon.com: ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 Gaming Graphics Card (PCIe 4.0, 12GB GDDR6 Memory, HDMI 2.1, DisplayPort 1.4a, 2-Slot, Axial-tech Fan Design, 0dB Technology) : Electronics

1 me gusta
44

¡Deberías echar un vistazo a la edición que enlacé arriba, tiene justo eso!

Pero la versión más larga es que la cuantización te permite intercambiar calidad y velocidad para ejecutarse en especificaciones más bajas. Si quieres ejecutar los mejores modelos, sin cuantización necesitas alrededor de 160 GB de VRAM. Si aceptas peor calidad, velocidad, latencia, etc., puedes usar el 5% de eso.

Tenemos resultados “suficientemente buenos” ejecutando el modelo que uso como ejemplo allí, que apenas se ejecuta en una máquina con 96 GB de VRAM.

3 Me gusta
45

Puede que me lo esté perdiendo, así que perdón si es así, pero ¿dónde está la opción para forzar una nueva regeneración para el personal?

46

Disculpen por revivir el tema, pero no he podido encontrar el método para que el personal regenere los resúmenes después de 1 hora. ¿Esta ventana de 1 hora requiere que se haya respondido al tema, hay alguna combinación secreta de interfaz de usuario que deba realizarse para acceder a esto, etc.?

47

¿Hay alguna forma de utilizar la estrategia de resumen de claude-2 de Anthropic, utilizando AWS Bedrock con acceso a Anthropic (el chatbot de IA tiene esta opción)?

Actualmente, solo se puede seleccionar cualquier modelo de Anthropic si se configura ai_anthropic_api_key.

1 me gusta
48

Sí, necesitas\n\n- Establecer ai_anthropic_api_key en ‘a’ (para omitir la validación)\n- Rellenar tus credenciales de bedrock\n- Seleccionar claude 2 como el modelo de resumen\n\nTenemos una revisión planificada de la forma en que se pueden seleccionar los modelos / la inferencia / las API en la interfaz de usuario, pero esto te servirá mientras tanto.

4 Me gusta
49

Comentarios.

En su mayor parte, el resumen funciona bien.

Para los enlaces a imágenes en la publicación, los enlaces no son correctos.

por ejemplo.

Siguiendo algunas fotografías compartidas por [Foxabilo](/t/-/475167/13; /t/-/475167/24; /t/-/475167/34; /t/-/475167/37)

50

Esta es parte de la buena pregunta de los idiomas… pero ¿alguien tiene una idea de por qué a veces el resumen respeta el idioma del tema y a veces usa inglés? Parece que sucede totalmente al azar.

Y la pregunta real podría ser si hay una indicación del sistema donde podamos sugerir el idioma utilizado o si proviene de la herramienta de resumen.

1 me gusta
51

Esto está codificado internamente en este momento, pero planeamos permitir flexibilidad aquí.

A algunas personas les gustan los resúmenes más largos, a otras les gustan más cortos… etc…

4 Me gusta
54

Es posible que este texto necesite una actualización, ya que creo que también admite Gemini.

Además, comentarios sobre la interfaz de usuario de configuración: ¿hubo alguna razón particular por la que la configuración summarization_strategy y custom summarization allowed groups se trasladaron a la página Others en lugar de estar en la página Discourse AI junto con el resto de la configuración de IA? Me tomó un tiempo encontrar esto y se está perdiendo entre un conjunto de configuraciones no relacionadas.

55

¿Cómo se activa/desactiva esta función? No veo el botón Resumir para temas con el número requerido de publicaciones y también veo mensajes en los registros de errores, así que quiero intentar desactivarlo y luego volver a activarlo.

56

¿Cómo podemos deshabilitar completamente Resumir con IA?
La calidad es realmente mala y encuentro que todo el botón es inútil; me gustaría eliminarlo.

IMG_7212
IMG_72121170×538 57.8 KB

57

De la misma manera que lo habilitaste con la configuración summarization strategy. Para deshabilitarlo, puedes restablecerlo al valor de configuración predeterminado del sitio.

¿Qué modelo estás utilizando? Descubrimos que Claude 3 Opus funciona mejor en esta tarea.