Recibiendo muchos resultados nulos en la búsqueda semántica

Tengo dificultades para que la búsqueda de IA semántica me dé resultados, así que quería consultar con todos para ver si tienen alguna idea de lo que podría estar mal.

Si tomo un ejemplo simple y busco “shopify”, pueden ver que obtengo muchos resultados normales, pero ningún resultado de IA. Cuando lo comparo con la búsqueda de “shopify” en la comunidad de Discourse Meta, pueden ver que obtengo muchos resultados normales y muchos resultados de IA. He probado preguntas más complejas y específicas, pero todavía no obtengo resultados.

En cuanto a nuestra configuración, estamos usando gpt-4o-mini y eso está configurado correctamente en LLMs. “AI embeddings semantic search enabled” está habilitado. Estamos usando “text-embedding-ada-002” para los embeddings.


2 Me gusta

¡Gracias por informar, el equipo lo revisará!

¡Gracias Sam! Quería asegurarme de que no me estaba perdiendo algo obvio aquí, ya que parece que funciona mejor en tu propio sitio.

Lo único que se me ocurre es que posiblemente no hayamos terminado de rellenar los embeddings en su sitio, lo revisaremos.

Hola @tyler.lamparter,

A primera vista, un problema que he encontrado con la configuración actual de tu sitio es que, aunque estás usando text-embedding-ada-002, has completado las configuraciones de embeddings para los prompts, los cuales no son compatibles con ese modelo. Eliminé las instrucciones que habías configurado allí y regeneré los embeddings en tu sitio.

También estoy actualizando la información sobre esas configuraciones para intentar evitar esta confusión en el futuro.

Aparte de eso, intenté buscar “shopify integration” y obtuve el siguiente documento de búsqueda hipotético:

lo cual está alineado con lo que esperamos.

¿Puedes intentar buscar ahora y compartir tu experiencia?

@Falco esto parece estar funcionando mucho mejor, ¡gracias! Había agregado las indicaciones en la configuración de incrustación en un intento de mejorarla, pero por supuesto no tuvo ningún efecto.

2 Me gusta

@Falco, quizás hablé demasiado pronto. Ahora, cada vez que busco, la IA siempre encuentra exactamente 40 resultados, sin importar lo que busque. Muchos de los resultados tampoco son muy relevantes (sugiriendo el tema “acerca de esta categoría”, por ejemplo).



1 me gusta

Intentaré con un modelo de embeddings diferente. Informaré en ~1h.

1 me gusta

¿Cuál sería el resultado ideal del tema para esta consulta?

Esperaría 0 resultados de búsqueda y 0 resultados de IA en ese caso particular. Admitimos JS ES6/ECMAScript2015 (sí, muy antiguo), pero aún no está en ninguna publicación de la comunidad.

Ohhhhh, ya veo. Esto no funcionará en este caso.

La forma en que funciona nuestra IA de búsqueda actual es:

  • Toma la entrada del usuario
  • Crea una nueva publicación al respecto teniendo en cuenta la descripción del foro
  • Devuelve los temas semánticamente más similares

No hay un umbral de distancia donde cortemos la búsqueda, ya que determinar un umbral general que cubra miles de instancias de Discourse no es trivial. Esto se discute en Setting a similarity threshold for semantic search.

Estamos investigando el lanzamiento de un nuevo enfoque que realizará una búsqueda más estándar de LLM + RAG y devolverá una respuesta conversacional, donde puede ajustar la indicación para decir “no se encontraron resultados”. Esto llegará en las próximas semanas, te avisaré aquí cuando puedas probarlo.

2 Me gusta

Sería genial. Eso es lo que estaba intentando hacer al agregar los prompts en la sección de embeddings. Dado que ahora no se puede establecer un umbral, ¿es por eso que siempre vemos alrededor de 40 resultados?

Sí, exactamente.

Hoy, la búsqueda de IA funciona como un sistema de conmutación de emergencia cuando la búsqueda estándar no devuelve resultados, actuando como un diccionario de sinónimos sobrepotenciado. Sin embargo, en su caso, la consulta de búsqueda no tiene resultados posibles en todo el foro, lo cual no es el caso de uso para el que fue diseñado.

Mantente atento a la próxima versión de la búsqueda; estará más cerca de lo que deseas.

3 Me gusta

¿Puedo volver a configurar nuestro modelo de incrustación en text-embedding-ada-002?

1 me gusta

@tyler.lamparter revisa Conversational AI Search coming to Discourse AI . Avísame si quieres probarlo en tu sitio.

2 Me gusta

Sí, me gustaría probar esto en nuestro sitio. Lo probé en su sitio y también vi el interruptor existente “Ocultar 50 resultados encontrados usando IA” cuando estaba en búsqueda completa. ¿Este interruptor todavía usa la búsqueda HyDE anterior?

La nueva función no utiliza el interruptor en absoluto. Muestra la respuesta conversacional encima de la experiencia de búsqueda estándar, y está aquí en tándem con la búsqueda semántica y por palabras clave existente.

Eso es lo que estaba pensando. Si la nueva función funciona bien para nosotros, entonces podemos desactivar el interruptor HyDE.

1 me gusta

¿Podría esta persona tener una herramienta personalizada asociada? Estoy pensando que esta podría ser una forma de obtener documentación relevante de nuestra base de conocimiento externa para mostrarla en los resultados de búsqueda sin interactuar con el bot.

1 me gusta

Sí, puede hacer todo eso según lo especificado en Conversational AI Search coming to Discourse AI

2 Me gusta