Continuando la discusión de Límite de publicaciones de temas / usuario / mes:
Hola 
Gracias por tu interés 
Para más contexto: En 2021, mi primer proyecto con un foro en Kazajistán no tuvo éxito porque la mayoría de los residentes prefieren usar Telegram o WhatsApp. La introducción de plugins para el bot Discourse AI y Chatbot le dio una segunda oportunidad a mi sitio web, pero ahora se centra únicamente en la comunicación con inteligencia artificial (plantillas de consulta categorizadas, personajes de bot, etc.).
- En cuanto al control del gasto de tokens: Sería deseable tener un panel de estadísticas/configuración separado para rastrear y administrar el gasto de tokens según el personaje del bot (GPT3, 3.5, 4, 4.5t y/o Asistente de Composición) con el que se interactúa. Como administrador, en un mes de uso de prueba, ya he gastado más de $70 en consultas de ChatGPT, lo cual es un gasto significativo para mí. Ahora, al querer brindar acceso a los bots para usuarios habituales, empiezo a preocuparme por mi presupuesto, que es difícil de controlar.
Imaginemos una situación en la que otorgo acceso a IA a un grupo de usuarios específico y digo: “Úsenlo”. Supongamos que un usuario genera suficientes consultas en un día para agotar mi presupuesto. Ahora, supongamos que otro usuario intenta hacer una consulta a la IA y… no recibe respuesta (nada). El segundo usuario puede no entender por qué el bot no respondió, asumir que el servicio está funcionando mal y optar por otros servicios.
Para ello, sería apropiado tener un panel separado en la pestaña de usuario donde cada usuario (administrador/moderador/usuario habitual) pueda rastrear y controlar el gasto de tokens, la temperatura del bot, el top (aunque esto se puede colocar en el editor de publicaciones, ver el diagrama a continuación) y otras configuraciones de ajuste fino.
Por ejemplo, me gustaría establecer un monto límite para mí, y cuando se alcance, recibir una notificación para reponer el presupuesto/tokens. Dado que diferentes modelos de IA pueden diferir en el costo de los tokens consumidos, me gustaría tener la capacidad de limitar los tokens para cada bot para mí y otros grupos de usuarios. Cada usuario debería poder administrar de forma independiente el límite de tokens asignado a su discreción, de manera similar a lo que puede hacer un administrador. También sería útil proporcionar a algunos grupos de usuarios (moderadores, TL4) la capacidad de ajustar finamente la configuración de generación (temperatura, TOP 
, etc.).
Por ejemplo, en lugar de definir el valor máximo de temas semánticamente relacionados con incrustaciones para todos los usuarios, sería práctico proporcionar estos límites según el grupo de usuarios. Por lo tanto, al grupo de Personal se le podría dar un máximo de 7, a los usuarios habituales 3, y así sucesivamente. Cada usuario debería tener la capacidad de establecer estos valores en el panel de usuario de su cuenta. Este enfoque democratizaría el uso de la IA y la capacidad de controlar los límites de tokens asignados a cada usuario.
Por ejemplo, título de hilo de chat automático de asistente de IA también podría determinarse según el grupo de usuarios, dando a cada usuario la opción de habilitar/deshabilitar esta función en el panel de usuario. modelo de asistente de IA también podría dejarse a elección del usuario según el grupo. Si le doy al Grupo-A la opción de elegir entre GPT4t y GPT3.5t, cada uno de ellos podría tomar la decisión de forma independiente.
También sería posible agregar la capacidad para que los grupos privilegiados tengan sus consultas priorizadas y se envíen a LLM al frente de la cola.
Intenté ilustrar esto con más detalle (hice la ilustración rápidamente, por favor no la juzguen duramente):
Nota: En la imagen de arriba, intenté reflejar las posibles funciones propuestas para usuarios habituales. Estas funciones pueden estar bloqueadas, y para que sea claro para el usuario, sería apropiado tener botones para activar funciones/aumentar límites/agregar un bot. Estos botones están resaltados en azul, y hacer clic en cualquiera de estos botones redirigiría al usuario a una página con una invitación para unirse a un grupo privilegiado para obtener más funcionalidad en la interacción con IA.
2) En el editor, sugiero:
-
Categorizar bots por tipos (Trabajando con imágenes, texto, audio, etc.) y configuraciones de consulta adicionales (ver punto 1 arriba) dentro de la interfaz del Compositor.
-
Agregar la capacidad de limitar el número de caracteres para una consulta según el personaje del bot (como una de las palancas para reducir la carga del servidor) o el grupo de usuarios. Discutí algo relacionado aquí.
-
La capacidad de insertar una plantilla de consulta utilizando el plugin existente Plantillas de Discourse o posiblemente una modificación futura (para usar en mensajes personales) que actualmente está en desarrollo: Plantillas de Formularios Experimentales.
-
La capacidad de insertar una plantilla de ayuda en el área de entrada de texto (similar a las plantillas de temas de categoría en la configuración de la categoría).
Aquí hay un ejemplo de ilustración:
Nota: Sería aconsejable reflejar el límite de entrada de caracteres en la parte inferior del editor (como se muestra) en la imagen.
Opciones adicionales (aparte de la configuración de la API) en Editor de Personajes de IA para Discourse, que luego se mostrarán en el editor de mensajes:
PD. En estos días, he estado un poco indispuesto (estoy enfermo), y algunas de mis sugerencias pueden ser un poco dispersas y no del todo claras. Soy nuevo en Discourse, carezco de conocimientos de programación y me resulta difícil comprender la información en este foro en inglés, donde las publicaciones a menudo contienen términos específicos. Por lo tanto, reconozco que mis ideas (propuestas) pueden ser algo absurdas a veces, no alinearse con algunas restricciones técnicas de Discourse. También entiendo que el equipo puede tener su propia hoja de ruta de proyecto para el plugin, que no necesariamente se alinea con mis puntos de vista. Sin embargo, decidí escribir esta publicación porque creo que la revolución de la IA atraerá a muchos usuarios a tales servicios, y Discourse ya tiene todas las capacidades tecnológicas para interactuar con la IA por delante de la mayoría de los proyectos que surgen en el mercado (el hecho de que Open AI use Discourse para su foro dice mucho). Por lo tanto, es mejor decirlo que no decirlo. En este sentido, considere mi propuesta como la perspectiva de un externo, una sugerencia de un usuario común (que a menudo está acostumbrado a las redes sociales y mensajeros) que desea claridad y funcionalidad de interacción, que las redes sociales y los mensajeros a menudo carecen.
Edición. Entiendo que implementar dicha funcionalidad puede requerir grandes costos laborales y financieros (que no todos los patrocinadores pueden manejar). Podría valer la pena someter tales propuestas a votación y/o organizar crowdfunding.
. Me alegra mucho que me hayas escuchado 
