API de Google Perspective para Discourse

:discourse2: Resumen Google Perspective API es el plugin oficial de Google Perspective API para Discourse
:hammer_and_wrench: Enlace al repositorio https://github.com/discourse/discourse-perspective-api
:open_book: Guía de instalación Cómo instalar plugins en Discourse

Características

¿Qué es la API Perspective?

Según el sitio oficial, “Perspective es una API que facilita la organización de mejores conversaciones. La API utiliza modelos de aprendizaje automático para puntuar el impacto percibido que un comentario podría tener en una conversación. Este modelo fue entrenado pidiendo a personas que calificaran los comentarios de internet en una escala desde muy tóxico hasta muy saludable. Tóxico se define como… un comentario grosero, irrespetuoso o irracional que es probable que te haga abandonar una discusión.”

¿Qué puede hacer el plugin discourse-perspective-api?

  • Solicitar a los usuarios que confirmen si están seguros de enviar una publicación potencialmente tóxica, antes de enviarla.
  • Marcar automáticamente las publicaciones tóxicas para que los moderadores y administradores las revisen.
  • Opcionalmente, escanear categorías privadas y MP (mensajes privados) en busca de contenido tóxico.

Configuración

¿Dónde obtengo una clave de la API Perspective?

Sigue estas instrucciones para crear una cuenta de Google Cloud y obtener acceso a una clave de API.

La API se puede utilizar de forma gratuita; aquí están los documentos de referencia de la API.

Guía de configuración del sitio

(Admin → Escribe ‘perspective’ en el campo de texto del filtro)

La API está actualmente disponible solo para el idioma inglés.
Los umbrales predeterminados están configurados para ser razonablemente altos, pero estas configuraciones ofrecen cierta personalización para ajustar cómo funciona este plugin. Juega con la demostración en vivo en los documentos oficiales enlazados arriba para tener una idea de cómo se comportarán los umbrales.

  • perspective_enabled:
    Habilita el plugin para filtrar publicaciones potencialmente tóxicas.

  • perspective_toxicity_model:
    Elige el modelo de toxicidad para la API Perspective de Google. Lee más sobre cómo se desarrollan estos modelos leyendo los documentos de referencia de la API.

    • estándar
      ​clasifica los comentarios groseros, irrespetuosos o irracionales que son probables de hacer que la gente abandone una discusión. Es más fácil superar el umbral en el modelo estándar si se usan palabras soeces e insultos de manera amistosa y las publicaciones se marcan fácilmente. Si eliges un umbral alto de 0.9, el modelo estándar marcará menos publicaciones y tomará menos acciones incorrectas.

    • toxicidad severa (experimental)
      ​Este modelo utiliza el mismo algoritmo que el modelo estándar, pero está entrenado para reconocer ejemplos que fueron considerados ‘muy tóxicos’. Esto lo hace mucho menos sensible a comentarios que incluyen usos positivos de palabras soeces, por ejemplo. Las publicaciones se marcan solo cuando se detectan casos extremos de toxicidad y el umbral para este modelo se puede bajar hasta 0.7 como un valor razonable.

    Por ejemplo, una publicación que contenga "I f*****g love you man" sería marcada bajo el modelo estándar (usando los umbrales predeterminados) pero no con el modelo toxicidad severa.

  • perspective_notify_posting_min_toxicity_enable:
    Habilita la verificación de contenido potencialmente tóxico mientras un usuario intenta enviar una publicación y envía una notificación en el editor cuando un usuario escribe algo tóxico.

    • perspective_notify_posting_min_toxicity:
      Si la API devuelve una puntuación superior a este umbral, notificamos al usuario y le preguntamos si está seguro de que desea publicar contenido potencialmente tóxico. El nivel de confianza de la toxicidad de la publicación entre 0 y 1 que se utiliza para verificar la toxicidad mientras un usuario está componiendo una publicación, donde una puntuación de 1 significa extremadamente tóxico. Un valor superior a 0.9 debería marcar solo publicaciones altamente tóxicas, dependiendo del modelo utilizado. Como el usuario será notificado antes de publicar, podemos usar un umbral ligeramente más bajo aquí, como 0.85, para advertir a los usuarios con anticipación.
  • perspective_flag_post_min_toxicity_enable:
    Marcar posibles publicaciones tóxicas que ya han sido enviadas y enviar mensajes para notificar a los moderadores sobre las publicaciones que han sido enviadas. Los administradores/moderadores son notificados sobre las publicaciones marcadas.

    • perspective_flag_post_min_toxicity:
      Si la API devuelve una puntuación superior a este umbral, marcamos la publicación para que los administradores/moderadores la revisen. El nivel de confianza de la toxicidad de la publicación entre 0 y 1 que se utiliza para verificar la toxicidad después de que un usuario ha publicado, donde una puntuación de 1 significa extremadamente tóxico. Un valor superior a 0.9 debería marcar solo publicaciones altamente tóxicas, variando según el modelo utilizado.
  • perspective_google_api_key:
    Clave de API para la API Perspective que recibiste después de completar el proceso de registro mencionado anteriormente.

  • perspective_check_private_message:
    Verificar y marcar mensajes privados si son tóxicos.
    Nota: El contenido del MP será enviado a los moderadores/administradores.
    También se aplica al modo de relleno (backfill).

  • perspective_check_secured_categories:
    Adicionalmente, verifica las categorías privadas en busca de contenido tóxico habilitando esta configuración.

  • perspective_backfill_posts:
    Consulta la toxicidad de las publicaciones existentes y registra los resultados en los campos personalizados de la publicación.
    Habilitar este modo desactiva la verificación en línea para las publicaciones.

  • perspective_historical_inspection_period:
    El período en días para iniciar una nueva iteración de consulta después de finalizar la última iteración. Se usa solo si perspective_backfill_posts está habilitado.

Capturas de pantalla

Lo que ve un usuario cuando intenta enviar una publicación tóxica:

Lo que ven los administradores/moderadores cuando se envía una publicación tóxica:

REGISTRO DE CAMBIOS

PENDIENTES


¡Un gran agradecimiento a @fantasticfears por crear este plugin!

49 Me gusta

Parece que la API se ha actualizado y ahora admite más idiomas, como el ruso. ¿Cuándo se actualizará para ampliar el soporte en el plugin?

2 Me gusta

la misma pregunta. ¿Puede funcionar para el idioma portugués, ya que actualmente es compatible con la API?

EDITAR: Lo probé y funciona perfectamente en portugués.

Me encanta.

5 Me gusta

¿Algo nuevo sobre esta API? Sinceramente deseo saber si alguien más la sigue usando y si tiene algo que decir

Nuestros clientes están utilizando la función “Clasificación por Persona” en el complemento Discourse AI, que puede hacer todo esto pero permite flexibilidad para las especificidades de cada comunidad.

4 Me gusta

Gemini Flash 2.0 ya no es suficiente para mi comunidad, básicamente no tengo una herramienta de toxicidad excepto esta API, pero está bien, lo pensaré más tarde.

Gemini Flash 2.0 está ahora varias versiones por detrás, intenta usar la versión actual de Gemini Flash.

2 Me gusta

Aviso Importante: La API de Perspective se está desmantelando y el servicio finalizará oficialmente después de 2026.

Supongo que podemos cambiar a soluciones generales de LLM? ¿Al igual que con el filtrado de spam? ¿Hay una hoja de ruta a la que pueda suscribirme?

1 me gusta

Sí, usa IA + Automatización como se dijo anteriormente

4 Me gusta