Acabo de terminar de configurar discourse-ai, me pregunto cuáles son las capacidades RAG de la IA.
Veo que puede recuperar contenido de las publicaciones, pero tengo que preguntarle varias veces antes de que realmente entienda que la información debe encontrarse dentro de un tema.
¡Otras funciones funcionan bien!
Una persona tiene una sección de carga, puedes cargar varios archivos de texto en tu persona.
ver: AI bot - Personas
Necesitarás configurar la incrustación para que esto funcione.
1 me gusta
Gracias, vi esa sección, es genial, pero todavía tengo algunas preguntas.
Algún contexto: usamos Discourse como base de conocimientos y foro para responder preguntas técnicas, tenemos toda nuestra documentación en él.
Usaremos la sección de carga de la persona para alimentar los datos que no ponemos directamente en el foro, como datos de documentos sobre nuestra empresa.
Ahora, para nuestra documentación técnica que vive en el foro, nos gustaría poder hacer preguntas sobre ella usando una IA. Por lo que entiendo, el chat de Discourse-AI no está hecho para esto y, tal como está configurado en las herramientas de persona, ¿solo buscará en el foro, además de algún procesamiento de IA?
¿Es algo que está planeado tener un chatbot que habilite capacidades RAG en el propio foro, incluido el contenido de los temas?
1 me gusta
Todo esto está 100% soportado hoy con una gran cantidad de opciones de implementación.
- La herramienta de búsqueda se puede limitar a un grupo de categorías o etiquetas (cuando creas una nueva persona y agregas la herramienta de búsqueda).
- Las herramientas personalizadas brindan flexibilidad adicional aquí, puedes hacer solicitudes HTTP al mismo foro y consumir cualquier cosa del foro en el formato que desees… incluyendo solicitudes HTTP para buscar incrustaciones… ver: API access to the embedding(s) for a post - #3 by sam. Al hacer solicitudes HTTP en una herramienta personalizada, puedes especificar encabezados HTTP para que puedas usar una clave API que emitas en el foro.
- La herramienta de lectura te permite leer temas.
- Esta PR en progreso te permitirá buscar tus cargas directamente desde una herramienta. (FEATURE: RAG search within tools by SamSaffron · Pull Request #802 · discourse/discourse-ai · GitHub) que es otra opción más.
- Puedes controlar la modalidad (MP vs Chat) según tu preferencia.
Puedes ver un ejemplo de implementación en ask.discourse.com (que fue diseñado como un bot de soporte para nuestros clientes) - lo más importante es que no involucra ningún plugin personalizado, todo se usa con el plugin Discourse AI incorporado.
6 Me gusta
Descargo de responsabilidad: Soy un usuario final de facto y ni siquiera entiendo cómo funcionan realmente las IA. Y uso OpenAI.
Hay algunas razones por las que la IA no está dando la respuesta deseada.
- El prompting dicta dónde y cómo puede buscar. Una mala redacción y hará lo que quiera.
- La IA no es como Google con esteroides y la habilidad de explicar cosas, aunque de alguna manera lo sea. También puede encontrar los resultados correctos, y me refiero a tan mal como Google. Y en realidad no lee ni analiza todo, sino que simplemente… lo piensa.
- RAG y los embeddings funcionan, pero necesitan un prompting extremadamente estricto. Pero esos solo dan una dirección, muy a menudo no una base sólida para construir una respuesta. Los embeddings por sí solos requieren mucho trabajo manual y, a menudo, los temas, de nuevo, por sí mismos, no son suficientes. Un tema o una publicación (aún peor) pueden ser precisos y lógicos, pero en la vida real, ¿no? Por eso ask.discourse.com falla con bastante frecuencia, si no se hace una pregunta muy limitada y específica. ¿Cómo permito solo dominios de correo electrónico específicos en los registros? ¡Boom!, tienes la respuesta. ¿Cómo recibo notificaciones cuando una bandeja de entrada de PM de grupo tiene nuevos mensajes? Mucha alucinación y referencias incorrectas.
La idea más preocupante según OpenAI es que las respuestas incorrectas son aceptables. Es una cuestión de cantidad y, específicamente, de cuánto costarán a una empresa esas respuestas alucinadas y factualmente incorrectas.
Muy cierto para las empresas, pero realmente malo para ese usuario individual.
Las IA pueden ser muy precisas. Todo lo que se necesita es mucha mano de obra para codificar y encargarse de ello, y tanta potencia de cálculo que minar bitcoins es un pasatiempo barato.
Mi punto muy débil es que simplemente dejar caer manuales en los temas no es suficiente.
Esta es una idea muy importante: nunca terminas realmente con este tipo de sistemas.
Terminamos repitiendo el proceso de
- El usuario le pregunta a la IA y obtiene una respuesta incorrecta
- Revisamos
- Corregimos la documentación, aceptamos una respuesta correcta y eliminamos las “minas terrestres” de búsqueda
- Hacemos la misma pregunta y obtenemos una respuesta correcta
Estos no son el tipo de sistemas que puedes implementar y olvidar; necesitan ajustes constantes.
Ten en cuenta que nos ayuda muchísimo si le das pulgar hacia abajo a cualquier respuesta incorrecta.
3 Me gusta
Es muy cierto. Y existe una posibilidad realmente enorme de que mis indicaciones sean muy malas.
Pero… los usuarios finales están utilizando esos bots y no son buenos escribiendo preguntas de alta calidad, guiando a la IA en la dirección correcta para obtener lo que se necesita. Y entonces el conocimiento que adquirí hoy, aunque sea falso, conducirá a una mejor calidad en algún momento, no ayuda demasiado.
No sé cuál es mi punto, excepto que construir/entrenar/ajustar una IA que tenga una tasa de aciertos superior al 80% requiere más trabajo y contenido curado que simplemente publicar temas. Y ese trabajo cuesta dinero (así que espero que tu negocio crezca, porque me encanta la corrección de pruebas, ¡incluso esa funcionalidad está enormemente fuera de tema ahora!).
1 me gusta
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.