AI Summary Backfill está gastando tokens en resumir PMs

La función “AI Summary Backfill” está resumiendo tanto los mensajes privados (PM) como los temas adecuados. En los mensajes privados, no hay ningún botón de resumen, por lo que no hay forma de ver el resumen. O bien hay que dejar de resumir los mensajes privados o añadir un botón a los mensajes privados. Yo voto por no resumir los mensajes privados.

Parece que tenemos muchos más mensajes privados que temas adecuados, por lo que esto supone una gran ineficiencia.

EDITADO: Tengo la opción ai pm summarization allowed groups configurada en everyone. ¿Afecta esto al backfilling? ¿O solo a quién puede pulsar el botón?

Como usted mismo encontró, existe el botón si se encuentra en la configuración de los grupos permitidos.

Como planeamos permitir mostrar los resúmenes cortos en la lista de mensajes privados y usar ambos resúmenes para ayudar a nuestra próxima función de búsqueda de IA, estos son necesarios por varias razones.

Dicho esto, podemos introducir una configuración para omitir los mensajes privados aquí, de la misma manera que lo hicimos para los embeddings.

2 Me gusta

Muy interesante dilema… Predigo que en mi comunidad en el futuro cercano, la división tema/PM será 50/50. Puedo ver por qué para algunas comunidades sería muy poco económico incluir PM en cualquier cosa relacionada con IA y por qué en otras sería invaluable. ¿Quizás sería ideal tener un método por el cual los administradores de Discourse pudieran decidir desde el principio si incluir o no PM? De esta manera, se puede tomar una decisión ejecutiva basada en el tipo de comunidad porque a veces la IA no tiene ningún papel que desempeñar cuando se trata de PM básicas de preguntas y respuestas, y otras veces puede ser fundamental si la comunidad comparte información valiosa y buscable a través de PM.

No obstante, la búsqueda es clave aquí: ¿su tipo de comunidad se beneficia de la generación de incrustaciones para PM o no? Al final, creo que requiere una decisión final.

1 me gusta

Nuestra proporción es de 10 PM por cada tema normal:

topic_type total_count
Mensajes privados 52130
Temas normales (regulares) 5399

(El código de Data Explorer es cortesía de ChatGPT o1.)

Los temas normales a menudo utilizan un poco más de tokens de entrada que los PM, lo que mitiga el problema hasta cierto punto, pero aun así.

2 Me gusta