¿Cuáles son las diferencias entre el plugin oficial Discourse AI y el plugin Discourse Chatbot 🤖 en términos de bots de IA y sus características?
2 Me gusta
@merefield el plugin existe desde hace más tiempo y tiene muchas más opciones para configurarlo. AI Bot también es un poco más ambicioso (especialmente desde que tenemos acceso a GPT 4) en el sentido de que intentamos integrarlo en la experiencia de Discourse; por ejemplo, sabe cómo buscar y resumir temas.
Las diferencias notables a día de hoy son probablemente:
- Transmitimos las respuestas y ofrecemos un botón de detener
- @merefield ofrece muchas más configuraciones para ajustar cosas
- Ofrecemos un marco de “comandos” para que el bot actúe en tu nombre, aunque la experiencia es bastante inestable con GPT 3.5
- @merefield ofrece integración de chat de Discourse en este momento, nosotros aún no
- También ofrecemos integración de Anthropic
8 Me gusta
Para añadir: Por mis pruebas, parece que el Bot de IA solo funciona en PM y el Chatbot funciona en todas partes, a menos que esté haciendo algo mal con el Bot de IA.
La generación y transmisión de imágenes están bien hechas, al igual que la API de búsqueda, sin embargo, a veces todavía recurre a “No puedo buscar en la web o no puedo generar imágenes”. ¿Estás usando algo similar a los agentes de LangChain, que deciden qué pasos seguir?
¿Se supone que debemos crear un CX con alcance para la web completa, o solo nuestra URL de instancia?
2 Me gusta
Eso es correcto. Probablemente llegaremos a una integración más amplia, pero nos estamos tomando nuestro tiempo aquí y tratando de pulir las cosas existentes primero.
Sí, esto es lo frustrante de GPT 3.5 frente a GPT 4. Anclar el modelo para 3.5 es simplemente súper difícil.
Estoy considerando tener un paso intermedio antes de responder en GPT 3.5 que primero clasifique antes de responder realmente (por ejemplo: ¿esta interacción INTERACCIÓN parece que debería resultar en un comando !, si es así, cuál?) Lamentablemente, esto aumentaría el costo y el retraso, por lo que es mi último recurso.
Usamos una especie de “langchain”, limitada a 5 pasos, pero intentamos ser muy frugales con los tokens, por lo que el equilibrio es difícil.
Como quieras… Me gusta tener acceso a todo Google, es muy útil.
4 Me gusta
Lo que hago para anclar 3.5 es añadir un segundo prompt de sistema más corto al final del prompt final para “recordarle” al modelo algunas de las reglas del prompt de sistema principal.
Así que se vería algo así (escribiendo desde el teléfono, intentando…)
rol del sistema
usuario
asistente
..
..
rol del sistema “recordatorio”
nuevo prompt de usuario
Simplemente repitiendo el contenido más importante del rol del sistema, el modelo le da más peso. He estado usando esta solución alternativa durante unos meses sin demasiadas respuestas extrañas.
Especialmente si los prompts se están volviendo más largos, el modelo tiende a “olvidar” cosas que están más arriba en el prompt final. Las cosas en IA son muy improvisadas, algo que experimento en los modelos GPT y también en langchain. Justo hoy obtuve una personalidad tan fuerte en langchain que las acciones al preguntar la hora en una ciudad aleatoria fueron “mirar mi reloj”, “cambiar la zona horaria de mi reloj” y “preguntar a un extraño”.
4 Me gusta