Discourse AI - Triaje de IA

[sam (Sam Saffron)]

El triaje de IA está diseñado para mejorar la gestión y moderación de las publicaciones del foro automatizando el proceso de clasificación de las publicaciones.

Tenga en cuenta que esta función requiere que los complementos discourse-automation y discourse-ai funcionen.

Casos de Uso

1. Categorización Automática de Publicaciones: El triaje de IA puede categorizar automáticamente los temas según su contenido. Esto es particularmente beneficioso para foros grandes donde la categorización manual puede llevar mucho tiempo. Puede aplicar las reglas a un subconjunto de temas (solo el primer tema o temas publicados en categorías particulares)

2. Etiquetado de Publicaciones: El triaje de IA puede asignar etiquetas especificadas a las publicaciones. Esta característica ayuda a una mejor organización de las publicaciones y hace que la búsqueda y recuperación de temas sea más eficiente.

3. Respuestas Automatizadas: El triaje de IA puede generar respuestas a las publicaciones utilizando respuestas predefinidas. Esto es útil para abordar preguntas frecuentes o consultas comunes, enviar spam a categorías de no deseados y más.

4. Ocultar Tema: El triaje de IA puede ocultar temas basándose en ciertos criterios. Esto se puede utilizar para gestionar spam o contenido inapropiado.

5. Detección de NSFW/Toxicidad/Spam

   • Configuración de la detección de NSFW en su comunidad
   • Configuración de la detección de toxicidad en su comunidad
   • Configuración de la detección de spam en su comunidad

Cómo Funciona

El triaje de IA utiliza modelos de IA para analizar el contenido de las publicaciones. Basándose en este análisis, si el modelo devuelve un texto específico, realiza las acciones especificadas. Estas acciones incluyen mover la publicación a una categoría especificada, añadir etiquetas, responder con una respuesta predefinida y ocultar el tema.

Configuración

El campo de system prompt ha sido eliminado en favor de los Agentes. Si tenía una automatización de IA previa a este cambio, se creará automáticamente un nuevo Agente con el system prompt asociado.

Para configurar el triaje de IA, debe especificar ciertos parámetros:

• Agente: Agente utilizado para el triaje. Asegúrese de que responda con una sola palabra que pueda utilizar para activar las acciones a continuación.
• Buscar texto: Si el siguiente texto aparece en la respuesta del LLM, aplique las acciones a continuación.
• Tokens Máximos de Publicación: El número máximo de tokens a escanear utilizando el triaje LLM.
• Secuencias de Detención: Indique al modelo que detenga la generación de tokens al llegar a uno de estos valores.
• Tokens Máximos de Salida: Cuando se especifica, establece un límite superior para el número máximo de tokens que el modelo puede generar.
• Incluir Mensajes Personales: También analizar y clasificar mensajes personales.
• Categoría: Esta es la categoría a la que se moverá la publicación si se encuentra el texto especificado.
• Etiquetas: Estas son las etiquetas que se añadirán a la publicación si se encuentra el texto especificado.
• Ocultar Tema: Si esta opción está activada, el tema se ocultará si se encuentra el texto especificado.
• Marcar publicación: Si esto está habilitado, el tema se marcará para la cola de revisión para que moderadores, personal y administradores tomen medidas.
• Tipo de Marca: El tipo de marca a aplicar. Las opciones incluyen:
  • Añadir publicación a cola de revisión — envía solo a la cola de revisión
  • Añadir publicación a cola de revisión y ocultar publicación — envía a la cola de revisión y oculta la publicación
  • Añadir publicación a cola de revisión y eliminar publicación — envía a la cola de revisión y elimina suavemente la publicación
  • Añadir publicación a cola de revisión, eliminar publicación y silenciar usuario — envía a la cola de revisión, elimina suavemente la publicación y silencia al usuario
  • Marcar como spam y ocultar publicación — marca como spam y oculta
  • Marcar como spam, ocultar publicación y silenciar usuario — marca como spam, oculta y silencia al usuario
• Usuario de Respuesta: Este es el usuario que se mencionará en la respuesta preparada (canned reply).
• Respuesta: Esta es la respuesta predefinida que se publicará si se encuentra el texto especificado.
• Agente de Respuesta: Agente de IA a utilizar para las respuestas. Debe tener LLM por defecto LLM, se priorizará sobre la respuesta preparada. Responderá condicionalmente a diferencia de Discourse AI - AI triage using Agent.
• Responder como Susurro (Whisper): Si la respuesta de la IA debe aparecer como un susurro.
• Notificar autor por MP: Enviar un mensaje personal al autor de la publicación cuando su publicación se ponga en cola y se elimine.
• Remitente del MP: Usuario que enviará el MP (por defecto es el sistema).
• Contenido del MP: Mensaje personalizado opcional a enviar al autor.

Advertencias

• Las llamadas a LLM pueden ser costosas. Al aplicar un clasificador, tenga cuidado de monitorear los costos y considere siempre ejecutarlo solo en subconjuntos pequeños.
• El caso de uso particular que probamos (y ejecutamos en producción para un cliente) es la clasificación de los primeros temas de un usuario.
• Recomendamos utilizar AI bot para ayudar a redactar el system prompt del agente.

[EricGT]

Ser uno de los afortunados en ver esto en acción es una característica para sitios grandes que realmente deberías entender y considerar usar.

Como funciona utilizando una IA basada en LLM, no siempre llega a la conclusión correcta, pero acierta tanto en los casos en los que la he visto utilizada durante unos días, haciendo parte del trabajo de un moderador, que definitivamente ha sido un beneficio significativo.

Algunas de las primeras discusiones sobre esto se encuentran en la categoría Lounge del sitio de OpenAI. Si bien cualquiera puede acceder a esa categoría, se deben cumplir los requisitos de TL3 y, dado que OpenAI es un sitio grande, se necesita bastante esfuerzo para alcanzar TL3 en el sitio.

Para aquellos con acceso, aquí está el enlace
https://community.openai.com/t/lost-users-first-empirical-data/403082/95

---

Básicamente, la lógica que está haciendo para ayudar a los moderadores con un problema específico es que estamos viendo alrededor del 5% de las publicaciones de usuarios nuevos que piensan que el foro es donde publican preguntas para ChatGPT, claramente están perdidos o quizás un resultado de búsqueda está proporcionando un enlace inválido. La IA identifica tales publicaciones, responde con texto preescrito y cambia la categoría y las etiquetas según sea necesario, por ejemplo:

Education is very important how can children who are disinterested in the...

---

Para el caso señalado, esto es lo que está haciendo la “Regla de automatización del clasificador de publicaciones de Discourse AI”

Categorización automatizada de publicaciones
El clasificador está cambiando la categoría a ChatGPT según sea necesario. Como la mayoría de los usuarios nuevos no seleccionarán una categoría, el sitio de OpenAI actualmente la establece por defecto en la categoría API para las publicaciones nuevas, lo cual es incorrecto en este caso.

Etiquetado de publicaciones
El clasificador está cambiando la(s) etiqueta(s) a lost-user. El nombre de la etiqueta fue creado por un usuario TL3 en el foro que estaba cambiando manualmente las etiquetas.

Respuestas automatizadas
El clasificador está respondiendo con una publicación preescrita.

Ocultación de temas
Los temas se están excluyendo de la lista ya que no eran de valor para los desarrolladores que usan el sitio.

Usuario de respuesta
Se está utilizando System como creador de la respuesta.

Nota: Proporcionaría la Configuración para esto, pero carezco de acceso. Quizás @Sam pueda agregar los detalles. AFAIK se puede hacer público ya que nada es confidencial en la configuración. Como es para un sitio específico, no esperaría encontrarlo en el repositorio público. Si entiendes esta tecnología, no es difícil adivinar los valores correctos, o algo cercano a ellos. El Prompt del Sistema requirió algo de trabajo y quizás @sam pueda compartir algunas de las lecciones aprendidas; el conocimiento sobre cómo elaborar el prompt fue de gran valor durante la fase de desarrollo.

Prompt del Sistema

Nota: Esta es una versión publicada en el OpenAI Lounge (ref), estoy bastante seguro de que la versión final es diferente, pero un ejemplo ahorra muchas conjeturas.

Eres un bot que está clasificando todas las primeras interacciones que un usuario tiene en el foro de desarrolladores de OpenAI.

Por favor, responde solo con "ok" o "bad".

Las publicaciones están en tema y son correctas si:

Se relacionan con las API de OpenAI / Comunidad / Desarrollo de plugins / Documentación / Prompting
Son sobre el desarrollo o la mejora de métodos para la creación de prompts para modelos de lenguaje grandes
Se relacionan con la IA en general
Involucran discusiones complejas o problemas lógicos relacionados con la IA
Las publicaciones son incorrectas si:

Un usuario parece tener una conversación aleatoria con ChatGPT
Un usuario está fuera de tema discutiendo un campo no relacionado
Un usuario está creando prompts para un modelo de lenguaje grande para generar texto sin un propósito claro
Tienes extrema dificultad para entender de qué tratan
Se relaciona con un tema de OpenAI PERO es claramente una conversación con un bot
Un usuario está intentando entrenar o probar el modelo de IA a través de su publicación
Un usuario está dando instrucciones o solicitando respuestas en un formato no de discusión
Un usuario está publicando contenido que no es propicio para una discusión o aprendizaje significativo
Un usuario está publicando contenido hipotético o especulativo sin una relación clara con el alcance de OpenAI
Un usuario está publicando todo el texto en un idioma que no es inglés
Por favor, clasifica el siguiente contenido rodeado por [[[]]]:

[[[
%%POST%%
]]]

---

Para tu información
Si eres moderador en un sitio que utiliza esto y quieres/necesitas ver una lista de publicaciones no listadas, recuerda que no puedes usar la búsqueda. Sin embargo, puedes navegar a dicha lista usando la categoría y luego seleccionando las etiquetas. O también podrías crear la URL manualmente, por ejemplo, https://community.openai.com/tags/c/chatgpt/19/lost-user

---

Sí, incluso funciona para idiomas distintos del inglés

Rend der Eingewöhnung von ihrem Vater bogustet. Schon Maries Geschwister...

Sin embargo, no funciona con imágenes , no convertirá una imagen a texto y luego ejecutará la verificación, por ejemplo:

Solving of mathematics equation involving fraction with addition

Aquí hay un falso positivo reciente o al menos eso creo.

Looking for a developer for a Dungeon Master AI bot on Discord

---

Para obtener detalles sobre falsos/verdaderos negativos/positivos - Clasificación: Verdadero vs. Falso y Positivo vs. Negativo

[EricGT]

Una posible función.

Al menos para los moderadores que revisan una publicación, convierta el texto al idioma del moderador cuando vean el tema. Esto no implica solo para una marca, sino para cualquier visualización de la publicación.

---

A veces, al revisar las acciones del clasificador de publicaciones de Discourse AI, es necesario convertir el texto de la publicación a mi idioma (inglés) para verificar si la IA tomó una acción correcta. Actualmente, me resulta más fácil pegar el texto en Google Translate.

[sam (Sam Saffron)]

Cabe destacar y relacionado con esta misión secundaria.

@keegan está trabajando en la integración de un asistente de IA en nuestro menú emergente. Así, en el futuro, en casos donde haya mucho texto en un idioma desconocido, podrás simplemente resaltar el texto y presionar traducir.

Hoy admitimos eso en el editor, pero una vez fusionado, podrás resaltar texto en cualquier publicación de Discourse y obtener una traducción rápida basada en LLM.

[ncaming215 (nate c.)]

Esto … cambia las reglas del juego para mí. ¿A dónde puedo enviar tarjetas de agradecimiento?

[jordan-violet]

@sam

Etiquetado de publicaciones: El clasificador de publicaciones puede asignar etiquetas especificadas a las publicaciones. Esta función ayuda a organizar mejor las publicaciones y hace que la búsqueda y recuperación de temas sea más eficiente.

¿Cuál es un ejemplo de cómo hacer esto haciendo referencia a las etiquetas existentes que tiene su foro hoy en día? por ejemplo, la publicación es analizada por el LLM y las etiquetas más probables/relevantes se agregan a la publicación.

[sam (Sam Saffron)]

Me encanta esta pregunta, ¿puedes ampliarla por favor… cómo te gustaría que funcionara?

• ¿Aplicarías el “etiquetado automático” si el tema ya tiene etiquetas?
• ¿Lo aplicarías en todas las primeras publicaciones o solo en las primeras publicaciones de grupos particulares? (por ejemplo, tl0 / tl1)
• ¿Es esto algo que preferirías ejecutar manualmente en un subconjunto de temas?

Tendremos que hacer algunos ajustes aquí… en este momento el clasificador es binario, pero los cambios son razonablemente fáciles siempre que sepamos cuál es el objetivo.

[jordan-violet]

• Aplicar a todos los temas nuevos en una categoría
• Ciertamente podrías tener la opción de variar según el nivel de confianza. Como todo (y en este caso, cada comunidad), depende. En el caso de mi comunidad, probablemente lo mantendría activado para todos excepto para tl4 (o para todos, si esa configuración no es una opción)
• Preferiría que se ejecutara en todos los temas nuevos en las categorías especificadas

El objetivo aquí, por supuesto, es no tener que trabajar nunca en el etiquetado de temas por nuestra cuenta y dejar que la IA lo haga por completo basándose en el tema inicial que se está creando y observando las etiquetas existentes que tenemos ahora.

Probablemente podría mejorarse aún más si tuvieras la capacidad de agregar descripciones a las etiquetas en Discourse, y dejar que usara esas descripciones para obtener contexto adicional y agregar las etiquetas correctas

[EricGT]

En primer lugar, permítanme afirmar que apoyo plenamente esta capacidad y su mejora. Lo siguiente son solo algunos hechos sobre cómo funciona actualmente (16/10/2023). Diariamente, como moderador de categorías en OpenAI, reviso todas las nuevas publicaciones, no todas las respuestas, y veo todos los falsos positivos y negativos de la IA.

@jordan-violet

El objetivo aquí, por supuesto, es no tener que trabajar nunca en el etiquetado de temas.

Como usuario de esta función, Clasificador de Publicaciones de Discourse AI - Regla de Automatización, tenga en cuenta:

• no es 100% preciso
• actualmente requiere acción manual para deshacer si la IA cometió un falso positivo. Dependiendo del cambio, puede ser necesario un moderador de categoría o superior; específicamente, enumerar un tema no listado.
• puede omitir algunos temas, falso negativo
• muchos usuarios que recibirán la respuesta automatizada de la IA no entienden cómo marcar la respuesta de la IA si es un falso positivo, por lo que tendrán que ser identificados y cambiados manualmente. Por lo tanto, necesitarán la ayuda de usuarios reales para detectar estos casos.
• comprender cómo redactar la indicación (prompt) para que funcione según sea necesario
• podría requerir ajuste fino y/o agentes para acercarse a un nivel de satisfacción deseado, lo que podría resultar costoso
• no hay forma de rastrear falsos positivos y negativos para usarlos al comprender cómo cambiar la indicación (prompt) y/o posible ajuste fino y/o agentes

---

Falso positivo: La IA no debería haber realizado un cambio y lo hizo, lo cual es incorrecto.
Falso negativo: La IA debería haber realizado un cambio y no lo hizo, lo cual es incorrecto.
Verdadero positivo: La IA realizó un cambio, lo cual es correcto.
Verdadero negativo: La IA no realizó un cambio, lo cual es correcto.

[sam (Sam Saffron)]

Un buen primer paso es probar un prompt en modo creativo:

Algo como…

Eres un etiquetador automático de Discourse, sugieres una lista de etiquetas para un tema.

Las etiquetas son:

etiqueta1: descripción
etiqueta2: descripción

Sugiere hasta 3 etiquetas para el siguiente tema:

TEMA

Pruébalo en algunos de tus temas, ¿qué tan bien funciona?

[EricGT]

@EricGT

En ocasiones, al revisar las acciones del clasificador de publicaciones de Discourse AI, es necesario convertir el texto de la publicación a mi idioma (inglés) para comprobar si la IA tomó una acción correcta. Actualmente, me resulta más fácil pegar el texto en Google Translate.

@sam

@keegan está trabajando en la integración de la ayuda de IA en nuestro menú emergente. Por lo tanto, en el futuro, en casos en los que haya un montón de texto en un idioma desconocido, podrá simplemente resaltar el texto y presionar traducir.

¡Funciona genial! Gracias

[EricGT]

Actualización reciente (11/01/2023)

El ID de usuario para el bot ahora es gpt-4-triage, al menos en el foro de OpenAI.

Esto se hizo para que los usuarios puedan silenciar el bot según sea necesario.

Ejemplo de la respuesta del bot.

Write a 500 to 1000 words about wolfgang keller

[sam (Sam Saffron)]

Tenga en cuenta que esto es configurable, puede hacer que la respuesta automática provenga de cualquier usuario que desee.

[ncaming215 (nate c.)]

Así que, dando seguimiento después de probar esto.

Parece que esto está en sus primeras etapas, y estoy emocionado de ver a dónde va, pero la opinión de @jordan-violet es 100% lo que busco lograr. Intenté la indicación de prueba que @sam sugirió y pareció lo suficientemente inteligente como para aplicar las etiquetas correctas en teoría. Sin embargo, parece que el script actual limita las etiquetas aplicables a 7, y tenemos considerablemente más que eso.

En resumen? Sería genial si aplicara semánticamente las etiquetas existentes a un nuevo tema. En términos de gestión de foros (¡incluso aquí en meta, lo he notado!), la aplicación consistente de etiquetas para ordenar mejor una comunidad y su contenido sigue siendo una batalla cuesta arriba, y es puro caos a escala. Para aquellos de nosotros que dependemos de las etiquetas, esto sería una bendición, incluso si fuera preciso en un 75%.

¡Mantendré mis ojos en este mientras se desarrolla!

[aas]

¡Esto es genial! ¿Tienes alguna sugerencia para depurar esto? Acabo de configurar una automatización que no se activó como se esperaba. No veo ningún registro relevante.

[sam (Sam Saffron)]

Hmmm, ¿qué pasó aquí? ¿Puedes abrir un tema dedicado?

[aas]

Si mal no recuerdo, al principio no configuré esta opción. Cuando lo hice, empezó a funcionar.

[loginerror (Maciej Kuźmicz)]

Pregunta rápida. ¿Hay planes para mostrar un registro de auditoría para esas automatizaciones (quizás de forma similar al patrón de webhook que ya tienen)?

Ayudaría a aliviar la sensación de “qué hiciste” que me da después de que se habilita una automatización

[sam (Sam Saffron)]

Ai log ya almacena todas las interacciones de llm. Puedes usar eso hoy a través de una consulta de explorador de datos.

[loginerror (Maciej Kuźmicz)]

@sam

todas las interacciones de llm

Si bien esto es cierto, es bastante complicado vincular las entradas del registro de tipo llm_triage con una publicación/tema que afecta, o con la acción que se tomó (o no) como resultado.

Sería genial tener una visión general de estas acciones