API de Google Perspective para Discourse

||||
-|-|
:discourse2: | Resumen | Google Perspective API es el plugin oficial de Google Perspective API para Discourse.
:hammer_and_wrench: | Enlace al repositorio | https://github.com/discourse/discourse-perspective-api
:open_book: | Guía de instalación | Cómo instalar plugins en Discourse

Funciones

¿Qué es la API Perspective?

Según el sitio oficial, “Perspective es una API que facilita la gestión de mejores conversaciones. La API utiliza modelos de aprendizaje automático para puntuar el impacto percibido que un comentario podría tener en una conversación. Este modelo fue entrenado pidiendo a las personas que calificaran los comentarios de internet en una escala desde muy tóxico hasta muy saludable. Tóxico se define como… un comentario grosero, irrespetuoso o irrazonable que es probable que haga que abandones una discusión.”

¿Qué puede hacer el plugin discourse-perspective-api?

  • Preguntar a los usuarios si están seguros de enviar una publicación potencialmente tóxica, antes de enviarla.
  • Marcar automáticamente las publicaciones tóxicas para que los moderadores y administradores las revisen.
  • Opcionalmente, escanear categorías privadas y mensajes privados (PM) en busca de contenido tóxico.

Configuración

¿Dónde obtengo una clave de la API Perspective?

Sigue estas instrucciones para crear una cuenta de Google Cloud y obtener acceso a una clave de API.

La API se puede utilizar de forma gratuita; aquí tienes la documentación de referencia de la API.

Recorrido por la configuración del sitio

(Admin → Escribe ‘perspective’ en el campo de texto del filtro)

Actualmente, la API solo está disponible para el idioma inglés.
Los umbrales predeterminados están configurados para ser razonablemente altos, pero esta configuración ofrece cierta personalización para ajustar cómo funciona este plugin. Juega con la demostración en vivo en la documentación oficial enlazada anteriormente para tener una idea de cómo se comportarán los umbrales.

  • perspective_enabled:
    Habilita el plugin para filtrar publicaciones potencialmente tóxicas.

  • perspective_toxicity_model:
    Elige el modelo de toxicidad para la API Perspective de Google. Lee más sobre cómo se desarrollan estos modelos leyendo la documentación de referencia de la API.

    • standard
      ​clasifica los comentarios groseros, irrespetuosos o irrazonables que son probables de hacer que la gente abandone una discusión. Es más fácil cruzar el umbral en el modelo estándar si se usan palabras obscenas e insultos de manera amistosa y las publicaciones se marcan fácilmente. Si eliges un umbral alto de 0.9, el modelo estándar marcará menos publicaciones y tomará menos acciones incorrectas.

    • toxicidad severa (experimental)
      ​Este modelo utiliza el mismo algoritmo que el modelo estándar, pero está entrenado para reconocer ejemplos que se consideraron ‘muy tóxicos’. Esto lo hace mucho menos sensible a comentarios que incluyen usos positivos de palabras obscenas, por ejemplo. Las publicaciones se marcan solo cuando se detectan casos extremos de toxicidad y el umbral para este modelo se puede bajar hasta 0.7 como un valor razonable.

    Por ejemplo, una publicación que contiene "I f*****g love you man" sería marcada bajo el modelo standard (usando los umbrales predeterminados) pero no con el modelo toxicidad severa.

  • perspective_notify_posting_min_toxicity_enable:
    Habilita la comprobación de contenido potencialmente tóxico mientras un usuario intenta enviar una publicación y empuja una notificación en el editor cuando un usuario escribe algo tóxico.

    • perspective_notify_posting_min_toxicity:
      Si la API devuelve una puntuación superior a este umbral, notificamos y preguntamos al usuario si está seguro de que desea publicar contenido potencialmente tóxico. El nivel de confianza de la toxicidad de la publicación entre 0 y 1 que se utiliza para comprobar la toxicidad mientras un usuario está componiendo una publicación, donde una puntuación de 1 significa extremadamente tóxico. Un valor superior a 0.9 debería marcar solo publicaciones altamente tóxicas, dependiendo del modelo utilizado. Como el usuario será notificado antes de publicar, podemos usar un umbral ligeramente más bajo aquí, como 0.85, para advertir a los usuarios con antelación.
  • perspective_flag_post_min_toxicity_enable:
    Marcar posibles publicaciones tóxicas que ya han sido enviadas y enviar mensajes para notificar a los moderadores sobre las publicaciones que han sido enviadas. Los administradores/moderadores son notificados sobre las publicaciones marcadas.

    • perspective_flag_post_min_toxicity:
      Si la API devuelve una puntuación superior a este umbral, marcamos la publicación para que los administradores/moderadores la revisen. El nivel de confianza de la toxicidad de la publicación entre 0 y 1 que se utiliza para comprobar la toxicidad después de que un usuario ha publicado, donde una puntuación de 1 significa extremadamente tóxico. Un valor superior a 0.9 debería marcar solo publicaciones altamente tóxicas, variando según el modelo utilizado.
  • perspective_google_api_key:
    Clave de API para la API Perspective que has recibido después de completar el proceso de registro mencionado anteriormente.

  • perspective_check_private_message:
    Comprobar y marcar mensajes privados si son tóxicos.
    Nota: El contenido del MP se enviará a los moderadores/administradores.
    También se aplica al modo de relleno histórico (backfill).

  • perspective_check_secured_categories:
    Adicionalmente, comprobar categorías privadas en busca de contenido tóxico habilitando esta configuración.

  • perspective_backfill_posts:
    Consultar la toxicidad de las publicaciones existentes y registrar los resultados en campos personalizados de la publicación.
    Habilitar este modo desactiva la comprobación en línea para las publicaciones.

  • perspective_historical_inspection_period:
    El período en días para iniciar una nueva iteración de consulta después de terminar la última iteración. Se usa solo si perspective_backfill_posts está habilitado.

Capturas de pantalla

Lo que ve un usuario al intentar enviar una publicación tóxica:

Lo que ven los administradores/moderadores cuando se envía una publicación tóxica:

REGISTRO DE CAMBIOS

PENDIENTES


¡Un gran agradecimiento a @fantasticfears por crear este plugin!

49 Me gusta

Parece que la API se ha actualizado y ahora admite más idiomas, como el ruso. ¿Cuándo se actualizará para ampliar el soporte en el plugin?

2 Me gusta

la misma pregunta. ¿Puede funcionar para el idioma portugués, ya que actualmente es compatible con la API?

EDITAR: Lo probé y funciona perfectamente en portugués.

Me encanta.

5 Me gusta

¿Algo nuevo sobre esta API? Sinceramente deseo saber si alguien más la sigue usando y si tiene algo que decir

Nuestros clientes están utilizando la función “Clasificación por Persona” en el complemento Discourse AI, que puede hacer todo esto pero permite flexibilidad para las especificidades de cada comunidad.

4 Me gusta

Gemini Flash 2.0 ya no es suficiente para mi comunidad, básicamente no tengo una herramienta de toxicidad excepto esta API, pero está bien, lo pensaré más tarde.

Gemini Flash 2.0 está ahora varias versiones por detrás, intenta usar la versión actual de Gemini Flash.

2 Me gusta

Aviso Importante: La API de Perspective se está desmantelando y el servicio finalizará oficialmente después de 2026.

Supongo que podemos cambiar a soluciones generales de LLM? ¿Al igual que con el filtrado de spam? ¿Hay una hoja de ruta a la que pueda suscribirme?

1 me gusta

Sí, usa IA + Automatización como se dijo anteriormente

4 Me gusta