Sería genial ofrecer opciones sobre la longitud del resumen. Parece que esto se enfoca en un recuento de 150-200 palabras, lo cual no es mucho para algunos temas.
Me encantaría personalizar el prompt. Por ejemplo, probablemente usaría puntos de viñeta por defecto.
Me encantaría experimentar con un prompt que cite quién dice qué y haga referencia a las publicaciones.
Desacoplaría el resumen con la configuración mínima de publicaciones de IA del general. El resumen con IA es probablemente útil con menos publicaciones.
Tenga en cuenta que gpt-3.5 ahora tiene una versión con un límite de 16k tokens que puede ser muy relevante aquí.
Y ahora las 2 características clave que me gustaría ver:
resúmenes diarios con la función de resumen con IA
resúmenes cuando paso el ratón sobre el tema (por ejemplo, precalculados)
Actualmente estamos utilizando una indicación simplista (cuando se seleccionan OpenAI o Anthropic), pero la cambiaremos muy pronto, ya que estamos trabajando en ello en este momento.
Personalizarla es una característica interesante, es posible que la agreguemos en el futuro.
Esta semana acabamos de hacer que se muestre para publicaciones con al menos una respuesta.
Agregamos modelos de contexto grande de OpenAI el día que fueron lanzados. Actualmente puede elegir:
GPT 3.5 Turbo con 16k
GPT 4 con 32k
Claude con 100k
Se está trabajando en el almacenamiento en caché de los resúmenes generados para que puedan usarse en otros lugares, lo que desbloquea funciones como esta.
Es un cambio que acabamos de hacer esta semana, por lo que se implementará en tu sitio en los próximos días.
¿Qué significa “pipeline” aquí?
Como puedes ver aquí en Meta, ya lo hicimos. El resumen antiguo ahora se llama “Mostrar respuestas principales”. Todavía estamos trabajando en el diseño y el orden de los botones.
Usando Gemini 1.5 Flash, los resúmenes a menudo contienen enlaces a varias publicaciones, pero los enlaces múltiples no se muestran como enlaces. No recuerdo haber visto otros modelos intentar usar enlaces múltiples.
Los enlaces a publicaciones únicas se muestran correctamente.
Bueno, eso es simplemente markdown no válido, por eso no funciona.
Es una pena que Gemini Flash no pueda producir markdown válido, aquí en Meta usamos Llama 3.1 cuantizado a FP8 para resúmenes, y puede manejar la producción de enlaces markdown adecuados sin problemas.
No sé si considerarías parchear problemas conocidos, como verificar los lunes y este markdown en particular. Me doy cuenta de que no es ideal, pero podría ser mejor que perder opciones de LLM que de otro modo serían buenas.
Esto me parece muy solucionable porque podemos mejorar nuestro ejemplo aquí, en este momento el prompt es:
Eres un bot de resumen avanzado que genera resúmenes concisos y coherentes del texto proporcionado.\n\n- Solo incluye el resumen, sin comentarios adicionales.\n- Entiendes y generas Markdown de foros de Discourse; incluyendo enlaces, _itálicas_, **negritas**.\n- Mantén el idioma original del texto que se resume.\n- Intenta que los resúmenes tengan 400 palabras o menos.\n- Cada publicación tiene el formato "\u003cNÚMERO_DE_PUBLICACIÓN\u003e) \u003cNOMBRE_DE_USUARIO\u003e \u003cMENSAJE\u003e"\n- Cita publicaciones específicas notables usando el formato [NOMBRE](/t/-/31793/NÚMERO_DE_PUBLICACIÓN)\n - Ejemplo: enlace a la 3ª publicación de sam: [sam](/t/-/31793/3)\n - Ejemplo: enlace a la 6ª publicación de jane: [de acuerdo con](/t/-/31793/6)\n - Ejemplo: enlace a la 13ª publicación de joe: [#13](/t/-/31793/13)\n- Al formatear nombres de usuario, usa @NOMBRE_DE_USUARIO o [NOMBRE_DE_USUARIO](/t/-/31793/NÚMERO_DE_PUBLICACIÓN)
Esto se siente un poco ambiguo. Podemos basarlo en algo como esto:
Fundamentalmente, sin embargo, @Roman / @Falco, tendremos que sacar estos prompts del árbol de código fuente y quizás tenerlos en una persona para que las comunidades puedan ajustarlos y compartir lo que funciona mejor.
No me sorprendería si a largo plazo necesitamos prompts de casos especiales para los modelos más débiles.
La persona funcionaría muy bien aquí si tuviéramos soporte para “ejemplos”, lo que no parece una gran exageración. O bien, lo movemos a CompletionPrompt y le damos una interfaz de usuario.
Me gusta la idea de personalizar el prompt para satisfacer tus necesidades y aprovechar las capacidades del modelo. También creo que convertir las personas en un concepto más agnóstico a las características es una buena idea.
Esta es básicamente la idea de las “funciones de persona”, “declaraciones preparadas” que hemos estado discutiendo este año. Moveríamos todo, como Ayudante de IA, Resumen, Búsqueda, etc., para usarlos, permitiríamos crear otros personalizados y tendríamos una interfaz de usuario para asociarlos a las funciones de la interfaz de usuario.
Se vuelve complicado cuando actualizamos los predeterminados para enviar un formato diferente, por ejemplo, de XML a JSON, así que esperamos que sea algo que podamos considerar construir el próximo año.
No sigo completamente los últimos posts. Todavía obtengo los resúmenes no válidos. ¿Hay algo específico que pueda probar con las personas, o necesito esperar la refactorización que están discutiendo?
el popup no es lo suficientemente ancho
