Oh, ya veo, gracias por la explicación, eso era lo que me faltaba.
Por cierto, sé que a menudo hay reordenación en RAG más avanzado. ¿Hay algo como la reordenación en cómo Discourse lo maneja? ¿Crees que agregar un paso de reordenación tendría algún efecto positivo?
la reclasificación es un trabajo en curso.
@Falco / @Roman implementó un reclasificador básico en discourse:
Esto se utiliza en la búsqueda semántica y RAG. Sin embargo, está bastante oculto y no es fácil de configurar.
Creo que el plan a medio plazo aquí (que discutimos con @awesomerobot) era pasar de la terminología LLM a Modelos… y quizás hacer un poco de unificación de la interfaz de usuario para que puedas definir incrustaciones/reclasificadores y LLM en una sola interfaz.
Por ahora, solo admitimos una API de reclasificación de hugging face muy específica.
Ciertamente mejora la calidad de los resultados.
¡Genial!
¿Así que actualmente está desactivado por defecto y no se puede configurar fácilmente en un plan alojado (pro)?
no estoy seguro, esperemos a que @Falco responda.
Hola @Falco
¿Hay alguna forma de habilitar el reordenador para pruebas o tal vez un cronograma?
Hemos acabado de implementar una gran mejora en la tecnología subyacente que impulsa la búsqueda semántica en Discourse en DEV: Re-introduce PG Vector 0.8.0 upgrade by romanrizzi · Pull Request #35233 · discourse/discourse · GitHub.
Puedes volver a intentar tu caso de uso ahora, ya está implementado en tu sitio. Mi expectativa es que esto mejore RAG sin necesidad de un re-ranker.
Todavía queremos que el re-ranker esté ampliamente disponible, pero estamos esperando a que lleguen algunos cambios upstream primero.
¡Gracias Falco!
¿Funcionará esto solo para la búsqueda semántica sobre temas de Discourse, o también para documentos RAG cargados en una persona? Por mi propia experiencia, la IA funciona bastante bien con temas del foro (es decir, en ask.discourse), pero no tan bien con documentos cargados en una persona (o aún no he encontrado la mejor fórmula).
Afecta a todos los usos de los embeddings en Discourse, incluyendo Temas Relacionados, RAG, Búsqueda, sugerencias de categorías y etiquetas del Compositor, etc.
Hola @tpetrov, ¿mejoraron los resultados con el nuevo modelo de embeddings?
Oye Falco, lo siento, no he tenido tiempo de probarlo exhaustivamente, así que no puedo decirlo realmente.
¿Supongo que no hay forma de cambiar entre los dos para comparar?
Ahora no, los modelos antiguo y nuevo estuvieron disponibles durante un par de meses, pero recientemente retiramos los antiguos en nuestro hosting.