¿Hay algún dato sobre la latencia para la búsqueda semántica y los temas relacionados semánticamente en comparación con la búsqueda por palabras clave y los temas sugeridos?
Gracias de antemano.
¿Puedes explicar a qué te refieres con latencia aquí?
Para Temas Relacionados, dado que cada embedding se precalcula, no hay costo adicional en tiempo de ejecución. Muy al contrario, la consulta SQL para encontrar temas relacionados es más rápida que nuestra antigua consulta de temas sugeridos, y almacenamos en caché los temas relacionados para un rendimiento aún mayor.
En cuanto a Búsqueda de IA, nuestro enfoque actual HyDE[1] incurre en una latencia seria, por lo que ocurre de forma asíncrona y al usuario se le presenta primero la búsqueda estándar y la opción de aumentarla con resultados de IA cuando estos estén listos. Aquí en Meta, los resultados de la búsqueda de IA están listos 4 segundos después de los resultados de la búsqueda normal, en promedio.
GPT-4: HyDE significa Hypothetical Document Embeddings (Embeddings de Documentos Hipotéticos), una técnica utilizada en la búsqueda semántica para encontrar documentos basándose en las similitudes de su contenido. Este enfoque permite obtener resultados de búsqueda más precisos y contextuales al evaluar las similitudes conceptuales entre documentos, en lugar de depender únicamente de la coincidencia de palabras clave. Representa una técnica de aprendizaje zero-shot que combina las capacidades de comprensión del lenguaje de GPT-3 con codificadores de texto contrastivos, mejorando la capacidad de la IA para comprender y procesar datos del lenguaje natural de una manera más matizada y efectiva. ↩︎
3 Me gusta
Exactamente lo que estaba buscando. Gracias Falco.
¿Se ha investigado alguna forma de reducir esa latencia para la búsqueda semántica?
La primera versión de Búsqueda de IA tenía una latencia mucho mejor, pero también resultados mucho peores.
En cuanto a la próxima versión, tenemos varios planes para reducir la latencia:
-
Usar incrustaciones a nivel de publicación en lugar de incrustaciones a nivel de tema
-
Usar un modelo de reordenación para clasificar los resultados de búsqueda
-
Hacer que HyDE sea opcional
Creemos que esto nos dará mejores resultados de búsqueda y también lo hará más rápido en el proceso. Y junto con el nuevo hardware que ofrecemos sin costo adicional a todos nuestros clientes alojados, capaz de realizar inferencias de incrustaciones en solo 2 ms, apenas estamos comenzando con lo que es posible aquí.
2 Me gusta
Genial. Gracias por la información, Falco.
Tengo un par de preguntas más, ya que estamos considerando activar esto para nuestras comunidades.
- Parece que, al activar el interruptor para mostrar los resultados de la búsqueda semántica, lo que se muestra al usuario es una combinación de resultados de la API de búsqueda semántica y la API de búsqueda por palabras clave. ¿Es correcto? Si es así, ¿cómo se clasifican esos dos conjuntos de resultados entre sí?
- Relacionado con esto, ¿puedes comentar sobre cómo funciona la opción “Ordenar por:” con los resultados semánticos? Noto, por ejemplo, un artículo que tiene el ícono de estrella junto a él en una ordenación y luego no en otra.
1 me gusta
Sí, exactamente.
Usando una técnica llamada “fusión de rango recíproco”. Es posible que cambiemos a un reordenador en el futuro.
La búsqueda semántica es incompatible con las opciones de ordenación, ya que no tenemos ningún cálculo de corte de distancia. Se supone que debe deshabilitar / bloquear cualquier ordenación que no sea por relevancia.
1 me gusta
Genial, gracias Falco. Por lo que estamos viendo, la API de búsqueda semántica solo proporciona resultados de búsqueda semántica al cliente. Por lo tanto, presumiblemente la Fusión de Rango Recíproco está ocurriendo en el cliente. ¿Es eso correcto? Además, ¿tendríamos la opción de cambiar nosotros mismos ese algoritmo de reordenación si quisiéramos experimentar con diferentes opciones?
1 me gusta
Sí, exacto,
Técnicamente, dado que todo está basado en el cliente, podrías sobrescribirlo.
Dicho esto, a largo plazo veo que dependeremos cada vez más de modelos de reordenación, que serán todos del lado del servidor por razones obvias.
¡Entendido! ¡Gracias!
1 me gusta