Habilitando el Bot de IA en Chat

Nos encantaría tener un bot de IA en la función de chat. Nuestros usuarios utilizan el chat intensamente.

3 Me gusta

¿Puede explicar con más detalle cómo desea que funcione?

2 Me gusta

Mis usuarios lo usarían así:

  • mi veterinario dijo que los perros pueden obtener vitamina D de la luz solar
  • No lo creo… todo el mundo dice que tenemos que usar nutracéuticos
  • ¿en serio? Hola @helpful-bot ¿pueden los perros obtener vitamina D del sol?

Algo así. Significa que no necesito diferentes personalidades. Pero para mí eso no es un factor decisivo. Tengo otro chatbot en uso en los canales :smirking_face:

4 Me gusta

Disculpas por la ambigüedad. Quise decir que queremos que nuestros usuarios puedan invocar al bot en el canal de chat general usando @nombre_del_bot. Adicionalmente, los usuarios dentro del grupo elegible deberían tener la capacidad de enviar mensajes directos al bot, como en las capturas de pantalla a continuación;

3 Me gusta

Entiendo, así que centrándonos aquí hay… con algunos detalles técnicos más.

  1. Mencionar @gpt3.5-bot seleccionaría la primera persona priorizada… que normalmente sería el ayudante del foro, pero podrías cambiarlo.
  2. También proporcionaríamos contexto (digamos 1000 tokens de mensajes de chat anteriores) para que estuviera alineado. (¿es esto configurable o no? ¿configurable por persona o no?)
  3. Claramente necesitamos restringir el grupo de personas que pueden @mention en el chat, por lo que necesitaríamos una configuración del sitio para ello.
  4. Necesitaríamos pensar en la auditabilidad, un mínimo fácil aquí sería proporcionar una consulta del explorador de datos.
  5. Dados los recientes refactors de chat, podemos abrir discusiones nuevas “ilimitadas” con un bot, así que seguro que podríamos diseñar algo allí.
  6. Si permitimos @mention en el chat… ¿por qué no permitirlo también en las publicaciones del foro al mismo grupo? ¿a un grupo diferente?

Considerando todo esto… mi sugerencia V0 sería:

  1. Añadir la configuración del sitio ai_bot_chat_enabled_groups
  2. Codificar 1000 tokens de contexto por ahora - elegir la primera persona priorizada
  3. Solo admitir @mention para V0

V1

  1. Soporte de streaming y cancelación

V2

  1. Añadir soporte opcional para “Mensajes directos grupales con bots de IA”
  2. Asegurarnos de que también tenemos una interfaz agradable para encontrar todo esto y minimizar la sobrecarga de hacerlo.

V3

  1. Opcionalmente, permitir que las personas también preparen un usuario dedicado con un avatar dedicado. Entonces puedes interactuar con múltiples bots en el chat. En este modo, la persona también tendría un usuario/modelo seleccionado.
  2. También mover parte de la configuración a la interfaz de usuario de la persona… ¿qué persona está habilitada para el chat?

V4

  1. Pensar en los límites - uso máximo de tokens por día por usuario, cosas así

V5

  1. Pensar en añadir también parte de esto a los temas estándar - (necesita configuración del sitio, etc…) por ejemplo: @summary_bot resume este tema hasta ahora

En general, me gusta mucho todo esto, solo necesito averiguar cómo alinear estas cosas en nuestra hoja de ruta.

8 Me gusta

Mientras tanto, si tiene autoalojamiento, siempre puede considerar Discourse Chatbot, que ha admitido Chat desde el principio (y de hecho fue el primer Chatbot de IA para Discourse).

4 Me gusta

Esto suena como un plan muy sólido.

¿Quizás empezamos con una configuración para una persona de chat predeterminada, y eventualmente migramos a por canal?

100%

Creo que el chat es un buen lugar para empezar, y luego eventualmente portar el mismo comportamiento a los temas.

2 Me gusta

Estoy bastante de acuerdo con tus pensamientos y los de @Falco aquí, lo único que añadiría sería asegurarme de que también funcione con los Hilos de Chat, si no es en V0, entonces en V1/V2.

(Opcional) Una cosa adicional que podría valer la pena añadir más adelante es una opción aquí para iniciar un chat con el bot, ¡mi idea es que para ciertos usuarios puede que ni siquiera sepan que pueden hacerlo!

4 Me gusta

Parece estar bien para una V0. Creo que tener una mejor interfaz de usuario para crear bots y poder definir grupos permitidos desde esta interfaz sería mucho mejor que una configuración del sitio a medio/largo plazo.

1 me gusta

El editor de personas es como llegaremos allí, sin duda.

Ya tenemos todos los elementos para adjuntar un nuevo usuario a una persona.

2 Me gusta

El bot de IA en el chat será mucho mejor que la mensajería privada actual con IA…
Espero que puedan agregar esta mejora pronto…

Por cierto, parece que el uso de la API de Gemini no será gratuito pronto… hmm…

1 me gusta

He estado experimentando con esto, viene con bastantes limitaciones dado que mantener el historial es difícil, markdown no es tan completo y más… No es una victoria fácil. Sin embargo, es fácil iniciar conversaciones, pero no es un reemplazo completo.

¿Puedes explicar exactamente por qué crees que es mucho mejor?

Gemini 1.0 pro no es muy bueno, de todos modos lo evitaría, si buscas un LLM barato, Claude 3 Haiku es el camino a seguir.

4 Me gusta

¡Esto ahora está implementado! :confetti_ball:

Guía en:

4 Me gusta

Este tema se cerró automáticamente después de 2 días. Ya no se permiten nuevas respuestas.