Plugin de la API de Moderación

:information_source: Resumen El Plugin de API de Moderación de Discourse mejora tu foro de Discourse con capacidades de moderación automatizada. Aprovecha el motor de detección probado en batalla de la API de Moderación e incluye un panel de moderación mejorado para multiplicar la eficiencia de los moderadores por 10.
:hammer_and_wrench: Enlace al Repositorio https://github.com/moderation-api/discourse-moderation-api
:open_book: Guía de Instalación Cómo instalar plugins en Discourse

:hammer_and_wrench: Características Destacadas

Moderation API es una solución de moderación de pila completa.

Acciones de Moderación Automatizada

  • Marca automáticamente comentarios y temas.
  • Elige entre más de 20 modelos preconstruidos para casos de uso comunes o crea el tuyo propio.
  • Detecta toxicidad, contenido NSFW, PII, spam, autopromoción, actividad ilegal y más.
  • Establece umbrales personalizados para el marcado automatizado.

Detección Potenciada por LLM

  • Integra las directrices de tu comunidad en un agente de IA.
  • Utiliza la IA como primera línea de defensa o como moderador de confianza para marcar comentarios.

Entrenamiento de Modelos Personalizados

  • Desarrolla tus propios modelos de IA para obtener la máxima precisión en la moderación.
  • Utiliza las acciones de los moderadores como retroalimentación para entrenar y refinar modelos.
  • Mejora continuamente el marcado automatizado a través del aprendizaje automático.

Cola de Revisión Mejorada

  • Opcionalmente, utiliza la cola de revisión de Moderation API para una experiencia de moderación optimizada y moderna.
  • Crea múltiples colas de revisión adaptadas a diferentes idiomas, categorías o propósitos específicos.
  • Desarrolla flujos de trabajo de moderación para escalar contenido.
  • Asigna moderadores a colas de revisión específicas para una gestión eficiente.

Análisis del Panel

  • Supervisa las actividades y resultados de la IA a través del panel de Moderation API.
  • Obtén información sobre problemas comunes e identifica áreas de mejora.

Integración Perfecta

  • Se integra fácilmente con los flujos de trabajo y roles de usuario existentes de Discourse.
  • Elige entre la cola de revisión de Discourse o la cola de revisión de Moderation API.
  • Utiliza las acciones de moderación integradas de Discourse.

:rocket: Configuración

Sigue estos pasos para configurar el Plugin de API de Moderación:

Crear un Proyecto en Moderation API

  • Navega a tu Panel de Moderation API.
  • Crea un nuevo proyecto y selecciona las etiquetas que deseas detectar.

(Opcional) Probar y Ajustar Umbrales

  • Utiliza los deslizadores de umbral para determinar la rigurosidad de tu moderación.
  • Prueba la respuesta de la API en el playground.

Establecer Clave API

  • Localiza tu clave API en Integrar en el panel de tu proyecto.
  • En el panel de Administración de Discourse, navega a Configuración > Moderation API.
  • Pega tu clave API en el campo Moderation API Key.
  • Guarda los cambios.

Habilitar el Plugin

  • Selecciona tu comportamiento de marcado (ver opciones a continuación). Puedes empezar con “nada” para probar el plugin sin realizar ninguna acción.
  • Presiona habilitar plugin para comenzar a analizar nuevas publicaciones. El plugin no analiza ningún contenido preexistente.

(Opcional) Añadir las Directrices de tu Comunidad

  • Ve al Model Studio en Moderation API.
  • Crea un nuevo agente de IA.
  • Incorpora tus directrices como reglas para el agente. Si tienes directrices extensas, considera crear varios agentes.
  • Añade el agente a tu proyecto.


:triangular_flag: Comportamientos de Marcado

El plugin ofrece cuatro comportamientos de marcado diferentes, que determinan las acciones tomadas cuando la API de Moderación marca un comentario.

1. Marcar (Comportamiento Predeterminado)

El bot del plugin añade una marca “Inapropiado” al comentario, siguiendo la configuración de tu Discourse. Típicamente, esto significa que el comentario aparece en la cola de revisión, pero puede que no se oculte inmediatamente hasta que un moderador lo apruebe o usuarios adicionales marquen el comentario. Revisa tu configuración relacionada con las marcas en Discourse para personalizar.

2. Poner en Cola para Revisión

El comentario se oculta instantáneamente y se añade a la cola de revisión para que los moderadores lo aprueben o rechacen.

3. Bloquear Publicación

El comentario nunca se publica. El autor recibe un mensaje de error indicando que el comentario fue bloqueado por el sistema de moderación automatizada. (Puedes personalizar el mensaje de error).

4. Nada

No se toman acciones inmediatas. El comentario se analiza y aparecerá en el panel de Moderation API si se marca. Esta opción es útil para probar Moderation API antes de habilitar completamente el plugin.


:white_check_mark: TODO

  • Habilitar acciones de la cola de revisión de Moderation API para eliminar contenido de Discourse.
  • Sincronizar acciones de la cola de revisión de Discourse con la cola de revisión en Moderation API.
  • Permitir proyectos de moderación separados para diferentes categorías.
  • Marcar contenido utilizando una categoría de marcado de Discourse seleccionada (actualmente se usa Inapropiado).

:wrench: Configuración

A continuación se muestra una tabla de la configuración disponible para el Plugin de API de Moderación junto con sus descripciones:

Configuración Descripción
Habilitar Moderation API Controla si el plugin está activo.
Predeterminado: Deshabilitado
Comportamiento de Marcado Qué sucede cuando se marca el contenido:
• Poner en cola para revisión
• Marcar publicación
• Bloquear publicación
• Nada
Predeterminado: Marcar publicación
Mensaje de Bloqueo El mensaje que se muestra a los usuarios cuando su publicación es bloqueada.
Predeterminado: “Tu publicación ha sido bloqueada por nuestro sistema de moderación.”
Notificar en Cola de Publicaciones Envía notificaciones cuando las publicaciones se ponen en cola para revisión.
Predeterminado: Habilitado
Comprobar Mensajes Privados Aplica moderación a los mensajes privados.
Predeterminado: Deshabilitado
Grupos a Omitir Grupos de usuarios que omiten las comprobaciones de moderación.
Predeterminado: Ninguno
Categorías a Omitir Categorías del foro que omiten las comprobaciones de moderación.
Predeterminado: Ninguna
Clave API Tu clave de autenticación de Moderation API.
Predeterminado: Ninguno

:credit_card: Suscripciones

Puedes instalar el plugin inmediatamente y aprovechar nuestro nivel gratuito o prueba de 30 días. Para funciones extendidas y límites de uso más altos, explora nuestras opciones de suscripción.


:books: Documentación


:hammer_and_wrench: Soporte



Descargo de responsabilidad: Si bien el Plugin de API de Moderación de Discourse mejora significativamente las capacidades de moderación, es esencial revisar y comprender las implicaciones de la moderación automatizada. Asegúrate siempre de la transparencia con tu comunidad sobre el uso de IA en los procesos de moderación.

Nota de Privacidad: Este plugin procesa el contenido generado por el usuario para aplicar las reglas de moderación. Asegúrate de cumplir con tus políticas de privacidad e informa a los usuarios sobre las prácticas de procesamiento de datos.


10 Me gusta

Del README del repositorio de GitHub:

Puedes instalar el plugin de inmediato y usar nuestro nivel gratuito o una prueba de 30 días.

No pude encontrar información sobre un nivel gratuito en el sitio web o en la documentación de la API. ¿Cuáles son las limitaciones?

Además, ¿el plan de pago por uso solo está disponible cuando excedemos la cuota de un plan de pago?

2 Me gusta

El nivel gratuito está disponible para proyectos de aficionados. No dude en enviar un mensaje para configurarlo.

Correcto, el pago por uso es opcional para los planes de pago cuando se supera la cuota incluida.

3 Me gusta

¡Me encanta ver más herramientas de moderación de IA! ¿Podrías aclarar qué proporciona esto que la clasificación de IA de Discourse no ofrece? ¡Gracias!

1 me gusta

Sí, por supuesto. Esto probablemente podría estar más claro en la publicación original.

Primero, permítanme mencionar que la API de moderación le brinda acceso a una plataforma de moderación completa donde el motor de detección es solo una parte de ella. Básicamente, se asociará con una empresa que tiene años de experiencia en la resolución de la moderación de contenido.

Pero si nos centramos solo en la detección/clasificación:

  1. Mejor precisión: Puede elegir entre más de 20 clasificadores preconstruidos para manejar los casos de uso más comunes. Esto hace que sea muy fácil comenzar, y estamos mejorando constantemente nuestros modelos para que no tenga que preocuparse por lo último y lo mejor.
    Por lo general, obtendrá resultados mejores y más sólidos con un clasificador bien entrenado en comparación con un LLM diseñado con prompts.

  2. Conciencia del contexto: El motor de detección de la API de moderación también puede examinar mensajes anteriores en un hilo y el historial de un autor para proporcionar un mejor análisis. Creo que esta es una gran mejora en comparación con la clasificación integrada.

  3. LLMs especializados: Creo que Discourse te permite elegir entre un par de modelos como gpt-4o y claude, mientras que la API de moderación también admite LLMs entrenados específicamente para la moderación de contenido como Llama-guard y más por venir. Nuestros LLMs también vienen preconfigurados con prompts para que funcionen de la mejor manera según nuestros datos.

  4. Entrenar modelos personalizados: Una vez que esté conectado a la API de moderación, también podrá entrenar sus propios modelos con sus datos específicos.

  5. Cumplimiento: Alojamos nuestros modelos en nuestros propios servidores y podemos proporcionar DPA personalizados para empresas donde el cumplimiento y la regulación son una prioridad. En algunos casos, incluso podemos proporcionar soluciones locales (on-premise).

  6. Costo: La mejor parte es que podemos hacerlo más barato a gran volumen y, en cualquier caso, proporcionar tarifas fijas para costos predecibles.

Espero que esto lo aclare. Configurar un proyecto le brinda muchas opciones y flexibilidad en comparación con simplemente escribir un prompt, por lo que diría que es una solución mucho más potente y especializada.

2 Me gusta

Al instalar el plugin, al reconstruir la aplicación, obtengo este error en la reconstrucción:

Gem::LoadError: no se puede activar faraday-2.12.2, ya está activado faraday-2.13.4
… /plugins/discourse-moderation-api/plugin.rb:11:in `activate!’

Registros completos: er-js/faker-10.0.0 * [new branch] dependabot/npm_and_yarn/fortawesome - Pastebin.com

Daniel, gracias por probar el plugin.

Lo estoy revisando ahora. Mientras tanto, será un poco más fácil ayudar si te pones en contacto con support@moderationapi.com.

Esto debería estar solucionado en la versión más reciente del plugin. Creo que ahora solo puedes reconstruir tu aplicación.