Si se concede a determinados miembros acceso a la IA, ¿qué les impide utilizarla todo el tiempo para su trabajo, etc.? ¿Hay alguna forma de limitar la cantidad de tokens que pueden usar por día o semana, etc.?
No existen tales limitaciones cuando se usa Discourse AI, por lo que la respuesta es simplemente nada.
La otra solución, Chatbot, tiene límites semanales en cuanto a la cantidad de solicitudes que se pueden realizar.
Por lo tanto, tienes que elegir cuál te conviene más. Yo uso ambos. Chatbot para un uso más general dentro de mi foro [1] y DAI está limitado según el grupo y los propósitos (ajustados) utilizando personas. Así que, de alguna manera, aprovecho los mejores aspectos de ambos, porque estos dos solo se superponen parcialmente.
general significa tipo de preguntas, de lo contrario está más especializado ↩︎
4 Me gusta
Moviendo esto a feature, tenemos la intención de agregar un sistema de cuotas, sigue apareciendo
Estoy pensando en simplemente agregar selectores de grupo con recuentos de entrada/salida y duración en cada llm, para que pueda agregar cuotas opcionales.
7 Me gusta
Necesito límites de tasa por usuario (no por grupo), así que estoy intentando implementar mi propia solución provisional. Limitar el número de indicaciones en lugar de tokens estaría bien. Estoy pensando en un webhook en post_event que diga si es un mensaje privado y un usuario está publicando a un bot, incrementar un campo personalizado ‘ai_query_count’ en el usuario. Creo que esa parte funcionaría.
Entonces, ¿qué hacer si el recuento es demasiado alto? Probé algo de JavaScript en admin > customize > head que lee el recuento del usuario e intenta deshabilitar el botón de respuesta si el recuento es demasiado alto, pero no puedo encontrar un término selector para obtener el botón.
O tal vez haya un mejor enfoque. ¡Cualquier idea es bienvenida!
Técnicamente son lo mismo, solo creas un grupo de 1.
Esto debería implementarse esta semana y solucionarlo:
4 Me gusta
Entiendo que las cuotas por grupo son buenas para administrar el presupuesto, pero ¿qué impide que una persona acapare toda la cuota del grupo al principio del período? EDITAR: ¿Y potencialmente acapararla para su propio trabajo no relacionado, como preguntó el OP?
Tenemos 3000 miembros. ¿Entonces creamos 3000 grupos? ¿Eso no destrozará /g?
2 Me gusta
Estoy un poco confundido con esta pregunta, las cuotas se definen por grupo ahora y se aplican por usuario
Si al grupo se le permiten 1000 tokens, significa que ningún usuario individual puede tener más de 1000 tokens
La cuota no se comparte entre usuarios, no se trata de añadir el concepto de cuota absoluta si lo necesitamos más adelante.
4 Me gusta
Oh. Entonces entendí completamente mal. La función dice:
Establecer límites de tokens y uso por grupo con duraciones configurables
Para mí, “límites por grupo” suena como si el grupo en su conjunto tuviera un límite.
Así que esto es exactamente lo que estoy buscando, esperaré la nueva función.
2 Me gusta
Voy a asignar esta configuración a un becario el próximo miércoles en un sitio de Discourse autoalojado. ¿Necesito decirle que extraiga de una rama principal en GitHub? O, si añaden esta línea en app.yml, ¿es suficiente?
hooks:
after_code:
- exec:
cd: $home/plugins
cmd:
- git clone https://github.com/discourse/docker_manager.git
...
...
- git clone https://github.com/discourse/discourse-ai.git
Quiero permitir que las funciones del plugin Discourse AI solo sean para usuarios registrados. ¿Es ese el comportamiento predeterminado?
No me parece que la búsqueda mejorada por IA tenga control por grupo???
Para el bot de IA, estoy pensando en establecerlo en confiar 0 y establecer un límite de tokens por grupo, aumentando a medida que aumenta la confianza. ¿Es esta una buena estrategia?
Esto se ha fusionado. Solo necesito dedicar tiempo a documentarlo.
3 Me gusta
@sam Gracias por tu trabajo. El becario configuró cuotas para cada nivel de confianza hoy.
Aún no lo han probado completamente.
Cuando se alcanza el límite diario del grupo, ¿el usuario recibe un mensaje? ¿Se puede personalizar este mensaje?
Quiero que la IA sea útil, pero que nos proteja del abuso. Si una persona quiere usar más búsquedas de IA, quiero enviarle una nota indicándole que puede contactar a un humano para aumentar el límite. El personal puede entonces moverlos manualmente a un grupo preconfigurado.
En tu ejemplo, noto que estás usando amazon nova pro v1. El becario configuró nuestra implementación con OpenAI gpt-o4, probablemente solo por el reconocimiento de la marca.
El becario todavía está tratando de determinar la efectividad frente a los costos de los diferentes modelos. Cualquier consejo de alguien en el foro sería maravilloso.
1 me gusta
Sí, esto sucede ahora
Muy mínimamente, usamos una cadena traducida para que pueda modificar la traducción.
Cerrando este porque está completo, ¡no dude en abrir nuevas preguntas sobre IA!
1 me gusta