He estado jugando con el bot y ya es genial. ¿Puedo añadir una voz para habilitar la búsqueda semántica? En mis experimentos hasta ahora, esto haría que el bot fuera mucho más inteligente, al menos en nuestro sitio. Si comparo los resultados que encuentra y resume o responde, son mucho peores que los que usaría si estuviera haciendo una búsqueda semántica.
De forma relacionada, ¿es posible habilitar la búsqueda semántica como predeterminada al usar /? Nuevamente, creo que la mayoría de nuestros usuarios preferirían los resultados. Tenemos muchas publicaciones de tipo base de conocimiento que no siempre usan las palabras clave que las personas realmente dirían/buscarían, pero que están semánticamente relacionadas. Esto significa que una búsqueda tradicional tiende a arrojar publicaciones de menor calidad con personas discutiendo problemas de manera informal, y no son la respuesta canónica a la pregunta que tienen.
¿Puedes compartir algunos ejemplos de indicaciones/preguntas?
Yo también creo que el Bot de IA es de gran beneficio para los sitios, pero mis ideas de indicaciones/preguntas no son necesariamente las de otros y, por lo tanto, busco otras indicaciones/preguntas para posibles fines de demostración.
La verdad es que incluso si usaras la búsqueda semántica actual como parte del flujo de trabajo del bot, sería genial. Funciona bien ahora, pero simplemente no tiene el contexto de información adecuado, incluso cuando la búsqueda semántica actual los encontraría.
Sería genial tener control sobre los prompts, pero también veo que la interfaz de usuario es difícil allí porque sería fácil romper cosas con el prompt incorrecto. Creo que agregar el concepto de una persona para el bot, que se ingresa como un prompt del sistema, podría ser una buena introducción allí.
Absolutamente, esto es algo que realmente quiero, de hecho, quiero que los administradores del foro puedan crear personalidades personalizadas con conjuntos de comandos personalizados.
Realmente veo que ajustar las indicaciones (prompts) puede ser útil para nosotros, aunque después de haber hecho un poco de “ingeniería de indicaciones” de forma amateur para otro proyecto recientemente, creo que requerirá un poco de ayuda y muchos ejemplos para las personas que no están familiarizadas, y la interfaz de usuario probablemente se beneficiaría de un conjunto de ejemplos/opciones predeterminadas como “conversador/divertido”, “neutral/preciso” hasta “erudito/nerd” para mostrar cómo las redacciones de personalidad pueden cambiar la respuesta.
También he descubierto que evaluar el efecto de los cambios en la redacción de las indicaciones puede ser bastante difícil debido a la aleatoriedad inherente de los modelos, y también porque los efectos pueden variar según el tema de la indicación. Sería bueno desarrollar un conjunto de pruebas estándar de entradas de usuario y utilizarlas para realizar una prueba preliminar de cómo los cambios de personalidad o de instrucciones alterarían las salidas del bot. Supongo que esto también sería útil para su equipo… aunque una vez que el conjunto de pruebas se vuelve grande, surge el problema de cómo evaluarlo sin que lleve mucho tiempo.
Otra dimensión que creo que los usuarios a menudo querrán ajustar es la estricta adherencia del LLM al material fuente proporcionado en la indicación. En mis pruebas, debes ser bastante explícito (y repetitivo) al instruir al modelo para que no importe conocimiento externo al contexto y dejar claro (más instrucciones) que preferirías no tener respuesta a tener malas respuestas. También puedes controlar el grado en que el modelo “muestra su trabajo” y cita fuentes/da ejemplos, y creo que esa es a menudo una buena manera de evitar respuestas de alucinación/tonterías cuando el contexto no incluye la respuesta real o el material relevante.
Un último comentario… Veo aquí que ustedes han estado preocupados por los costos y siendo frugales con los tokens, lo que supongo que tiene sentido para sitios muy grandes. Sin embargo, para aplicaciones más pequeñas o de mayor valor financiero (por ejemplo, atención al cliente), en realidad no creo que sea un gran problema, y esto solo disminuirá con el tiempo. El costo de consultas adicionales a clasificadores separados que verifican la respuesta, o implementan “barreras de seguridad” definidas por el usuario, definitivamente valdría la pena para nosotros. Por ejemplo, hemos encontrado que indicaciones como “¿esta respuesta contiene información no encontrada en estas fuentes?” son bastante diagnósticas, y definitivamente vale la pena ejecutarlas antes de presentar información a los usuarios. GPT 3.5 está definitivamente bien para este tipo de tarea, incluso si el trabajo principal se realiza con GPT4.