API de perspectiva de Google para Discourse

:discourse2: Resumen Google Perspective API es el plugin oficial de Google Perspective API para Discourse
:hammer_and_wrench: Enlace al repositorio https://github.com/discourse/discourse-perspective-api
:open_book: Guía de instalación Cómo instalar plugins en Discourse

Funcionalidades

¿Qué es la API de Perspective?

Según el sitio oficial, “Perspective es una API que facilita la organización de mejores conversaciones. La API utiliza modelos de aprendizaje automático para puntuar el impacto percibido que un comentario podría tener en una conversación. Este modelo fue entrenado pidiendo a personas que calificaran comentarios de internet en una escala desde muy tóxico hasta muy saludable. Tóxico se define como… un comentario grosero, irrespetuoso o poco razonable que probablemente te haga abandonar una discusión.”

¿Qué puede hacer el plugin discourse-perspective-api?

  • Preguntar a los usuarios si están seguros de enviar una publicación potencialmente tóxica antes de enviarla.
  • Marcar automáticamente las publicaciones tóxicas para que moderadores y administradores las revisen.
  • Opcionalmente, escanear categorías privadas y mensajes directos (PM) en busca de contenido tóxico.

Configuración

¿Dónde obtengo una clave de API de Perspective?

Sigue estas instrucciones para crear una cuenta de Google Cloud y obtener acceso a una clave de API.

La API se puede utilizar de forma gratuita; aquí están los documentos de referencia de la API.

Recorrido por la configuración del sitio

(Administrador → Escribe ‘perspective’ en el campo de texto de filtro)

La API actualmente solo está disponible para el idioma inglés.
Los umbrales predeterminados están establecidos en un nivel razonablemente alto, pero estos ajustes ofrecen cierta personalización para afinar el funcionamiento de este plugin. Prueba con la demostración en vivo en la documentación oficial vinculada anteriormente para tener una idea de cómo se comportarán los umbrales.

  • perspective_enabled:
    Activa el plugin para filtrar publicaciones potencialmente tóxicas.

  • perspective_toxicity_model:
    Elige el modelo de toxicidad para la API de Perspective de Google. Lee más sobre cómo se desarrollan estos modelos en los documentos de referencia de la API.

    • estándar
      Clasifica comentarios groseros, irrespetuosos o poco razonables que probablemente hagan que las personas abandonen una discusión. Es más fácil superar el umbral en el modelo estándar si se usan palabras malsonantes e insultos de manera amistosa, y las publicaciones se marcan fácilmente. Si eliges un umbral alto de 0.9, el modelo estándar marcará menos publicaciones y tomará menos acciones incorrectas.

    • toxicidad severa (experimental)
      Este modelo utiliza el mismo algoritmo que el modelo estándar, pero está entrenado para reconocer ejemplos considerados “muy tóxicos”. Esto lo hace mucho menos sensible a comentarios que incluyen usos positivos de palabras malsonantes, por ejemplo. Las publicaciones se marcan solo cuando se detectan casos extremos de toxicidad y el umbral para este modelo puede reducirse hasta 0.7 como un valor razonable.

    Por ejemplo, una publicación que contenga "I f*****g love you man" sería marcada bajo el modelo estándar (usando los umbrales predeterminados), pero no con el modelo toxicidad severa.

  • perspective_notify_posting_min_toxicity_enable:
    Activa la verificación de contenido potencialmente tóxico mientras un usuario intenta enviar una publicación y muestra una notificación en el editor cuando un usuario escribe algo tóxico.

    • perspective_notify_posting_min_toxicity:
      Si la API devuelve una puntuación superior a este umbral, notificamos al usuario preguntándole si está seguro de querer publicar contenido potencialmente tóxico. El nivel de confianza de la toxicidad de la publicación está entre 0 y 1, donde 1 significa extremadamente tóxico. Un valor superior a 0.9 debería marcar solo publicaciones altamente tóxicas, dependiendo del modelo utilizado. Como el usuario será notificado antes de publicar, podemos usar un umbral ligeramente más bajo aquí, como 0.85, para advertir a los usuarios con antelación.
  • perspective_flag_post_min_toxicity_enable:
    Marca posibles publicaciones tóxicas que ya han sido enviadas y envía mensajes para notificar a los moderadores sobre las publicaciones enviadas. Los administradores/moderadores son notificados sobre las publicaciones marcadas.

    • perspective_flag_post_min_toxicity:
      Si la API devuelve una puntuación superior a este umbral, marcamos la publicación para que los administradores/moderadores la revisen. El nivel de confianza de la toxicidad de la publicación está entre 0 y 1, donde 1 significa extremadamente tóxico. Un valor superior a 0.9 debería marcar solo publicaciones altamente tóxicas, variando según el modelo utilizado.
  • perspective_google_api_key:
    Clave de API para la API de Perspective que has recibido después de completar el proceso de registro mencionado anteriormente.

  • perspective_check_private_message:
    Verifica y marca los mensajes privados si son tóxicos.
    Nota: El contenido del PM se enviará a moderadores/administradores.
    También se aplica al modo de relleno.

  • perspective_check_secured_categories:
    Verifica adicionalmente las categorías privadas en busca de contenido tóxico activando esta configuración.

  • perspective_backfill_posts:
    Consulta la toxicidad de las publicaciones existentes y registra los resultados en campos personalizados de la publicación.
    Activar este modo desactiva la verificación en línea de las publicaciones.

  • perspective_historical_inspection_period:
    El período en días para iniciar una nueva iteración de consulta después de finalizar la última iteración. Se usa solo si perspective_backfill_posts está activado.

Capturas de pantalla

Lo que ve un usuario al intentar enviar una publicación tóxica:

Lo que ven los administradores/moderadores cuando se envía una publicación tóxica:

REGISTRO DE CAMBIOS

POR HACER


¡Muchas gracias a @fantasticfears por crear este plugin!

49 Me gusta

Parece que la API se ha actualizado y ahora admite más idiomas, como el ruso. ¿Cuándo se actualizará para ampliar el soporte en el plugin?

2 Me gusta

la misma pregunta. ¿Puede funcionar para el idioma portugués, ya que actualmente es compatible con la API?

EDITAR: Lo probé y funciona perfectamente en portugués.

Me encanta.

5 Me gusta

¿Algo nuevo sobre esta API? Sinceramente deseo saber si alguien más la sigue usando y si tiene algo que decir

Nuestros clientes están utilizando la función “Clasificación por Persona” en el complemento Discourse AI, que puede hacer todo esto pero permite flexibilidad para las especificidades de cada comunidad.

4 Me gusta

Gemini Flash 2.0 ya no es suficiente para mi comunidad, básicamente no tengo una herramienta de toxicidad excepto esta API, pero está bien, lo pensaré más tarde.

Gemini Flash 2.0 está ahora varias versiones por detrás, intenta usar la versión actual de Gemini Flash.

2 Me gusta

Aviso Importante: La API de Perspective se está desmantelando y el servicio finalizará oficialmente después de 2026.

Supongo que podemos cambiar a soluciones generales de LLM? ¿Al igual que con el filtrado de spam? ¿Hay una hoja de ruta a la que pueda suscribirme?

1 me gusta

Sí, usa IA + Automatización como se dijo anteriormente

4 Me gusta