Después de echar un vistazo a varios temas, esto es lo que aprendí y recomiendo.
El sitio está destinado al soporte del sistema de seguridad para el hogar Surety.
El objetivo de la IA utilizada con el foro de Discourse es (ref):
- Complementar a nuestro equipo de soporte humano en un foro de soporte técnico.
- Debería aprender de nuestros datos históricos del foro.
- Poseer conocimiento del dominio para ofrecer soporte.
- Solo debería intentar responder preguntas relacionadas con el tema.
- Debería ofrecer una forma de que el usuario le indique al bot que deje de responder, para que pueda esperar a un humano si siente que el bot no está ayudando.
Y aquí están algunas de las preguntas de Ryan:
- ¿Estos aprenden o se ajustan automáticamente con datos históricos del foro?
- ¿No duplicar el trabajo que ya han realizado personas más inteligentes?
- ¿Restringir los temas en los que el bot participará para que no se involucre en conversaciones generales o fuera de tema?
- ¿Se pretende desarrollar y mantener a largo plazo el Chatbot original de Discourse?
- ¿O está planeado que eventualmente sea reemplazado por el Bot de IA en el plugin oficial, o integrado en él?
Aquí hay una pregunta publicada que le di al bot de Discourse AI, actualmente habilitado en la versión del sitio que probé, y una respuesta de ChatGPT.
La pregunta:
Tengo un IQP4 con un PowerG para cableado fijo. Los sensores cableados funcionan. Quería realizar una prueba en el timbre/sirena, pero no pude encontrar la opción en el IQP4. Puedo probar la sirena en el panel y suena junto con el IQ Remote, pero el timbre cableado no. Tengo que activar la alarma para que suene la sirena cableada.
¿Hay alguna forma de probar el timbre en el PowerG para cableado fijo desde el IQP4?
Aquí está la respuesta usando el bot de Discourse AI con GPT-4
Encontré un tema relevante en nuestro foro que podría ayudarte con tu problema.
En el tema Prueba de timbre cableado en PowerG para cableado fijo?, el usuario tuvo un problema similar donde no pudo encontrar la opción para probar el timbre en el PowerG para cableado fijo desde el IQP4.
Por favor, consulta este tema para ver posibles soluciones. Si aún tienes preguntas o necesitas más asistencia, no dudes en preguntar.
Aquí está la respuesta usando el bot de Discourse AI con GPT-3.5
Encontré un tema en el Foro de Soporte de Surety que discute la prueba del timbre cableado en la conexión PowerG para cableado fijo con el IQ Panel 4 (IQP4). Puedes encontrar el tema aquí.
En el tema, el usuario menciona que no pudo encontrar una opción para probar el timbre/sirena en el propio IQP4. Sin embargo, pudo probar la sirena en el panel y sonó junto con el IQ Remote. El timbre cableado, por otro lado, no sonó a menos que se activara la alarma.
Puedes visitar el tema para obtener más información y ver si hay soluciones o sugerencias proporcionadas por otros usuarios.
Tanto el bot de Discourse AI GPT-4 como el GPT-3.5 encontraron el mismo tema.
Aquí está la respuesta usando ChatGPT
No tengo información específica sobre la última versión de software o las funciones del IQ Panel 4, ya que mi entrenamiento solo incluye conocimientos hasta enero de 2022. Sin embargo, basándome en principios generales de prueba de sistemas de alarma, aquí hay algunas sugerencias que podrían ayudarte a probar tu sirena cableada conectada al PowerG:
-
Modo de prueba del sistema:
- Verifica si tu panel de alarma tiene un modo de «Prueba del sistema» o «Prueba de recorrido». Este modo está diseñado típicamente para probar sensores y alarmas sin desencadenar un evento de alarma real. Si tu panel tiene esta función, debería permitirte probar la sirena sin activar una alarma completa.
-
Control de salida:
- Busca una opción de «Control de salida» o «Salida auxiliar» en la configuración de tu panel de alarma. Esta función podría permitirte activar manualmente salidas, como la sirena, con fines de prueba.
-
Paso de zona:
- Algunos sistemas permiten omitir zonas específicas durante las pruebas. Si tu sirena cableada está asociada con una zona particular, podrías poder omitir esa zona para la prueba.
-
Manual del usuario:
- Consulta el manual del usuario o la documentación que vino con tu IQ Panel 4. Debería proporcionar instrucciones específicas sobre cómo probar y controlar diferentes componentes de tu sistema de alarma.
-
Soporte técnico:
- Si no puedes encontrar una solución por tu cuenta, considera contactar al soporte técnico del fabricante. Ellos pueden brindarte orientación basada en las funciones y capacidades específicas de tu sistema.
-
Actualización del software del panel:
- Verifica si hay actualizaciones de software disponibles para tu IQ Panel 4. Los fabricantes a menudo lanzan actualizaciones para agregar nuevas funciones o resolver problemas, y una actualización podría incluir un modo de prueba específico para la sirena.
Recuerda tener precaución al realizar pruebas para evitar activar accidentalmente un evento de alarma real. Si no estás seguro sobre algún paso, siempre es buena idea consultar el manual del usuario o contactar al soporte técnico para obtener asistencia.
Claramente, ChatGPT está dando una respuesta más detallada. Abordaré las posibles razones más adelante en el tema.
Nota: No tengo acceso al plugin Discourse AI de Merefield (Tarjeta) (GitHub). Sería agradable ver la respuesta a la misma pregunta publicada aquí para comparar. 
Aquí está mi retroalimentación.
La IA de estos bots se basa en LLM (modelos de lenguaje grandes); el conocimiento está limitado por el conjunto de datos de entrenamiento. Los bots también utilizan RAG para aumentar su conocimiento accediendo a los temas del foro.
Los bots suelen utilizar un «prompt del sistema», que es como una personalidad, y no es un prompt del usuario con la solicitud a la API de LLM.
Dejaré que ChatGPT explique la diferencia.
ChatGPT
¿Qué es un prompt del sistema? ¿En qué se diferencia de un prompt del usuario?
Completación
Un prompt del sistema y un prompt del usuario son términos que a menudo se utilizan en el contexto de modelos de lenguaje y sistemas de IA conversacional como GPT-3.5. Permíteme aclarar la diferencia entre ellos:
-
Prompt del usuario:
- Un prompt del usuario es la entrada proporcionada por un usuario humano para iniciar una conversación o solicitar información al sistema de IA.
- Es el texto o la consulta que una persona escribe o habla para interactuar con el modelo de IA.
- Por ejemplo, si estás usando un chatbot o un modelo de lenguaje, tu entrada haciendo una pregunta o haciendo una declaración sería el prompt del usuario.
-
Prompt del sistema:
- Un prompt del sistema, por otro lado, es la entrada o instrucción inicial dada al modelo de IA para establecer el contexto o guiar su comportamiento en una conversación.
- Se utiliza para proporcionar al IA un punto de partida o contexto para generar respuestas.
- El prompt del sistema ayuda a dar forma al tono, estilo o contenido de las respuestas de la IA y sirve como una especie de instrucción para guiar el comportamiento del modelo.
- Mientras que los prompts del usuario son específicos de las consultas o declaraciones del usuario, los prompts del sistema se refieren más a dar un contexto general o una instrucción para toda la conversación.
En el caso de GPT-3.5 o modelos de lenguaje similares, una conversación generalmente comienza con un prompt del sistema seguido de prompts del usuario en un intercambio continuo. El prompt del sistema ayuda a influir en las respuestas del modelo durante toda la conversación, pero es la combinación de prompts del sistema y del usuario lo que determina la salida del modelo.
La razón por la que los bots no pueden dar una respuesta mucho más específica es porque su base de conocimientos carece de los manuales del usuario, las instrucciones de instalación, etc., para estos productos. Además, los bots a menudo no pueden extraer imágenes y diagramas de dicha documentación, como diagramas de cableado e imágenes utilizadas en los manuales de instalación.
Como punto de partida, se debería utilizar RAG para expandir el conocimiento de la IA lo más posible, incluso si solo se trata del texto de la documentación. Aunque el bot de Discourse AI puede usar RAG para todos los temas del foro, no sé si permiten agregar información externa. Si no es así, una idea sería importar todos los documentos como PDFs en una categoría, posiblemente oculta, y luego el código de Discourse podría acceder a ellos más fácilmente al estar en el foro y luego usar Langchain para acceder a los PDFs (ref).
Con este conocimiento integrado, el prompt del sistema puede ajustarse para mejorar las respuestas, pero esto seguirá estando lejos de lo que buscas. Es muy probable que aún obtengas respuestas como la primera, con referencias a información pero sin instrucciones paso a paso cuando se necesitan. Además, no hay forma de dar retroalimentación sobre la respuesta de la IA que la IA sepa que es retroalimentación. En otras palabras, si un usuario responde al bot indicando que algo está mal, el bot leerá la respuesta pero no entenderá que necesita actualizar el conocimiento basado en eso.
Para mejorar la calidad de las respuestas, surgen tres ideas:
- Hacer uso de HyDE (Embeddings de Documentos Hipotéticos)
«Precise Zero-Shot Dense Retrieval without Relevance Labels» de Luyu Gao, Xueguang Ma, Jimmy Lin y Jamie Callan (pdf)
De hecho, aprendí sobre HyDE en Discourse (ref) y sé que lo están utilizando.
-
RLHF (Aprendizaje por refuerzo con retroalimentación humana). No creo que ninguno de los bots sea capaz de esto, y Discourse podría estar considerándolo; me gustaría escuchar su retroalimentación si están dispuestos a compartirla.
-
Datos sintéticos con RLHF. Esto es realmente de vanguardia y no es algo que esperaría que ninguno de los dos bots implemente.
Una de las formas más demostradas y exitosas de entrenar un LLM es hacer que se entrene a sí mismo, pero necesitas alguna métrica para que sepa si el resultado es mejor o peor. Para tu sitio, la única forma que entiendo actualmente de saber si una solución es mejor o peor es que un humano califique la solución de la IA. Para obtener más rondas posibles de preguntas y soluciones, las preguntas son generadas por una IA, otra IA genera la solución y luego la solución se mide y se utiliza para mejorar la IA que genera la solución.
Para mejorar la capacidad del bot de ayudar a los usuarios, debería realizar una serie de preguntas para recopilar información y comprender mejor el problema, de manera similar a como lo hace un médico para un diagnóstico y pronóstico.
Otra opción es explorar tecnologías similares a las que se puede acceder con el bot de IA, como Microsoft Copilot.
Un elemento que no solicitaste ni notaste, pero que es valioso, son las referencias de vuelta a la fuente. La razón por la que esto es importante es para verificar si la completación de la IA es una alucinación o no. Si se incluye una referencia, es una referencia real y no una alucinación, entonces la referencia puede verificarse para ver si proviene de una fuente autorizada, como un manual, y así saber que no es una alucinación. Agregar referencias es fácil de hacer con RAG y debería esperarse.
Ahora, abordaré tus objetivos específicos.
Complementar a nuestro equipo de soporte humano en un foro de soporte técnico.
Esto es más una declaración que una pregunta, por lo que no lo responderé como una pregunta.
Debería aprender de nuestros datos históricos del foro.
Esto en realidad era parte de una declaración más grande que dividí. La razón por la que la dividí es que, aunque es correcto que los datos históricos del foro son valiosos, también se necesita el conocimiento base, como el de los manuales. Los bots actuales utilizan RAG con las publicaciones del foro, pero, según tengo entendido, no saben cómo acceder a datos externos.
Solo debería intentar responder preguntas relacionadas con el tema.
Esto puede lograrse ajustando el prompt del sistema. Esto también requeriría alguna de la tecnología de Discourse AI Post Classifier - Automation rule.
Debería ofrecer una forma de que el usuario le indique al bot que deje de responder, para que pueda esperar a un humano si siente que el bot no está ayudando.
Esto puede lograrse ajustando el prompt del sistema.
¿Estos aprenden o se ajustan automáticamente con datos históricos del foro?
Buena pregunta. Aunque he mencionado brevemente cómo empezar a resolver esto antes, en realidad es una pregunta mucho más difícil de lo que parece, pero los grandes investigadores de LLM están logrando un progreso mucho mejor en esto y podría haber algunos anuncios interesantes en los próximos meses que puedan hacer esto mucho más fácil.
No duplicar el trabajo que ya han realizado personas más inteligentes.
Lo interpretaré como que el LLM no debería divagar sobre lo que sabe. Eso depende de cómo se entrena el modelo con nuevos conocimientos. Es posible hacer que el modelo sea peor e incluso más difícil de que un modelo «olvide». Según tengo entendido, ninguno de los bots de Discourse AI tiene la capacidad de aprender, es decir, cambiar los pesos en el LLM, pero sí tienen la capacidad de usar RAG con las publicaciones de los temas. Así que una mala publicación de tema, basura dentro, puede crear basura fuera.
Restringir los temas en los que el bot participará para que no se involucre en conversaciones generales o fuera de tema?
Esto sería similar a Discourse AI Post Classifier - Automation rule.
¿Se pretende desarrollar y mantener a largo plazo el Chatbot original de Discourse?
Dejaré esa pregunta para el personal de Discourse.
¿O está planeado que eventualmente sea reemplazado por el Bot de IA en el plugin oficial, o integrado en él?
Dejaré esa pregunta para el personal de Discourse.
