Un complemento para convertir discusiones del foro Discourse en revisiones claras de propuestas con justificaciones comunitarias

Nuestro equipo está proponiendo un complemento para esta organización. Tenemos la intención de escribir un complemento que los usuarios de Discourse (no autoservicio) puedan utilizar. Los detalles del complemento y su desarrollo se encuentran a continuación. ¿Es este tipo de proyecto posible para nuestro prospecto? Entienden que solo pueden usar complementos que Discourse ofrece… ¿es esto cierto? ¿Se puede desarrollar un complemento para todos los usuarios? Aquí está nuestra propuesta para el prospecto:

Un complemento para convertir las discusiones del foro de Discourse en revisiones de propuestas claras con justificaciones obtenidas de la comunidad.

Resumen

Esta propuesta presenta SimScore, una herramienta de gobernanza asistida por IA que se integra con el flujo de trabajo de propuestas de ArbitrumDAO para analizar los comentarios de la comunidad y generar ediciones de propuestas estructuradas con justificaciones completas. El sistema operará en dos etapas clave: antes del Control de Temperatura y después de la finalización del Control de Temperatura, con análisis ponderado por tokens en la segunda etapa.

Motivación

ArbitrumDAO enfrenta desafíos para procesar de manera eficiente los diversos comentarios de la comunidad durante el desarrollo de propuestas. Actualmente, los proponentes deben sintetizar manualmente numerosos comentarios en discusiones del foro y controles de temperatura de Snapshot, lo que consume mucho tiempo y puede llevar a que se pasen por alto información valiosa. SimScore aborda esto al proporcionar un análisis automatizado y estadístico del consenso de la comunidad con justificación transparente para todos los cambios sugeridos.

Fundamento

Un desafío que las DAO han identificado es la necesidad de experimentación en gobernanza, particularmente en relación con la gobernanza asistida por IA. La Solución SimScore implica el análisis de las respuestas del foro de Discourse con la API de SimScore para editar propuestas y publicar justificaciones completas.

Beneficios Clave de la Edición Automatizada de Propuestas con SimScore.

Mejora de la Calidad

Al analizar sistemáticamente diversas perspectivas de la comunidad, SimScore ayuda a refinar las propuestas más allá de lo que cualquier contribuyente individual podría lograr. El enfoque estadístico garantiza que la información valiosa no se pierda en el ruido de numerosos comentarios, al tiempo que proporciona claridad sobre los patrones de consenso genuinos en diferentes puntos de vista.

Aceleración del Rendimiento

En lugar de esperar semanas a que los proponentes procesen manualmente docenas o cientos de comentarios, SimScore automatiza el análisis de los comentarios de la comunidad. Esto puede reducir los ciclos de refinamiento de propuestas de semanas a días o incluso horas, aumentando drásticamente el rendimiento de la gobernanza.

Mayor Transparencia

Cada cambio sugerido incluye una justificación clara vinculada a comentarios específicos de la comunidad. Esto crea un rastro auditable que muestra exactamente cómo los comentarios de la comunidad influyeron en la propuesta, reforzando la confianza en el proceso de gobernanza.

La Solución SimScore

Nosotros (SimScore) proponemos un sistema que proporciona un enfoque sofisticado y basado en datos para analizar los comentarios de la comunidad que opera a través de múltiples componentes integrados:

1. Análisis de IA Restringido / SimScore

  1. Recopilación de datos: Un complemento de Discourse recopila todas las respuestas y discusiones del foro relacionadas con una propuesta específica.

  2. API de SimScore procesa estos datos a través de tres dimensiones analíticas distintas:

    1. Clasificación de Prioridad: Calcula un “Punto de Consenso” matemático a partir de todas las ideas escritas y luego mide la similitud de cada respuesta individual con este consenso (expresado como porcentaje de SimScore).

      Salida #1 del Análisis de Prioridad. (Diseño de ejemplo)

      Prioridad# Idea Autor % SimScore
      1 Amplificación de sesgos a través de patrones selectivos Emma 53%
      2 Desajuste contextual en razonamiento matizado Liam 47%
      3 Aplanamiento temporal de opiniones en evolución Sophia 32%
      4 Contaminación de fuentes cruzadas de perspectivas únicas Gabrial 15%

      Puntuación de Similitud

      La Puntuación de Similitud determina la similitud de un par de ideas.

      Puntuación de Similitud Similitud Relativa
      0.0 El par de ideas no tiene similitud
      >0.2 El par de ideas se considera plagio
      0.65 - 1.0 El par de ideas son esencialmente duplicados

      Punto de Consenso

      La API de Simscore calcula el Punto de Consenso a partir de todas las ideas escritas como una expresión matemática.

      % SimScore

      La similitud de cada idea frente al punto de consenso, expresada como % SimScore.

    2. Mapeo del Espacio Conceptual: Posiciona cada respuesta en un espacio bidimensional para visualizar agrupaciones y relaciones entre ideas.

      Gráfico de Relaciones - Salida #2

      Prioridad # X Y % SimScore
      1 0.515 -0.287 54%
      2 0.515 -0.586 51%
      3 0.104 0.334 49%
      4 -0.580 0.044 42%
      5 0.586 0.367 33%
      6 -0.260 0.615 32%
      7 -0.506 -0.406 31%

      https://docs.google.com/spreadsheets/d/e/2PACX-1vRbK31Zbther54K6vzp96LYYT5ETFNDalc-uSM_acVyq4GhEz4K1v9jkmg0tuYSM0FucUyvGi8p4Jv3/pubchart?oid=471457277&format=interactive

    3. Relaciones por Pares: Crea una matriz de similitud completa que muestra qué tan fuertemente se relaciona cada respuesta con todas las demás respuestas.

      Matriz de Puntuación de Similitud por Pares

      SimScore clasifica las respuestas en orden de “más similar”,

      Respuesta 1 Respuesta 2 Respuesta 3 Respuesta 4
      Respuesta 1 1.000 0.469 0.264 0.254
      Respuesta 2 0.469 1.000 0.235 0.234
      Respuesta 3 0.264 0.235 1.000 0.161
      Respuesta 4 0.254 0.234 0.161 1.000

      Nota: La API de SimScore está completa y lista para su implementación. Descripción Github

  3. Identificación de Consenso Validado: El sistema requiere evidencia en múltiples dimensiones antes de confirmar el consenso de la comunidad:

    • Comentarios de alta prioridad con respuestas de apoyo cercanas en el espacio conceptual.
    • Múltiples comentarios de prioridad moderada que se agrupan.
    • Relaciones fuertes por pares (por encima del 20% de similitud) entre respuestas de diferentes autores.

d. Implementación de IA Restringida: La IA sirve como un intérprete de patrones de consenso en lugar de un sintetizador primario. Está estrictamente limitada por la línea de base estadística de SimScore para evitar la tergiversación de las opiniones de la comunidad.

2. Complemento de Discourse

  1. Edición de Propuestas Lado a Lado: El sistema se integra directamente en la sección de edición de Discourse, mostrando propuestas originales y revisadas con diferencias codificadas por colores.
  2. Justificación Completa: Para cada revisión, el sistema genera una justificación detallada que cita comentarios específicos de la comunidad que respaldaron el cambio, incluyendo:
    • Clasificaciones de prioridad con puntuaciones de similitud.
    • Relaciones relevantes por pares.
    • Análisis de posicionamiento conceptual.
    • Citas directas de miembros de la comunidad.

3. Control Humano Final

  1. Control Humano Final: El proponente original revisa todos los cambios sugeridos y mantiene el control editorial final antes de pasar a la votación.

Pantallas de Demostración.

Edición de Propuestas Lado a Lado - Pantalla de Historial en el foro Scroll

image.png

Demostración de la Pantalla de Edición

Justificación Completa de cada revisión

image.png

Especificación del Complemento de Integración Discourse / SimScore

:page_facing_up: Especificación Técnica: Editor de Propuestas DAO Potenciado por SimScore

Complemento de Discourse para la API de SimScore

Sobre el Autor:

Con 30 años de experiencia en liderazgo, el autor se desempeñó como CEO de una empresa industrial de tratamiento de agua que logró un notable crecimiento de valor de 100 veces en 12 años. Bajo su liderazgo, la empresa se autofinanció a través del crecimiento orgánico antes de una exitosa salida de capital privado. Su metodología de “tabla en blanco” fue fundamental en este éxito, identificando prioridades estratégicas e impulsando la alineación organizacional. Ahora es el fundador de SimScore, creando tecnología para hacer accesibles sus metodologías probadas a organizaciones de todos los tamaños.

Material de Referencia

API de SimScore - Github - GitHub - Sim-Score/simscore-api

API de SimScore - ¿Qué es?

API de SimScore - Video de Youtube - https://www.youtube.com/watch?v=ifi9PNs41G4

Análisis de SimScore - Arbitrum Renaissance Incentive Program - Google Sheets

1 me gusta

¿Te refieres a los complementos disponibles en los planes alojados?

1 me gusta

Sí, me refiero al complemento en planes alojados. En este momento, estoy proponiendo la solución a 4 usuarios de Discourse. Que es integrar la API de SimScore en Discourse para editar automáticamente temas basados en los comentarios de la comunidad, mostrar lado a lado en la pantalla de edición. También ingresar una respuesta en el foro con una justificación clara. La justificación se ve así.

1 me gusta

Necesitarías estar en un plan empresarial, entonces. Tu complemento solo te es útil a ti, no a todos los usuarios de planes empresariales o estándar.

¿Quizás no has visto cómo Discourse muestra las diferencias entre las ediciones?

@NateDhaliwal Gracias a ambos por sus respuestas. Según su información, el complemento de discurso para planes estándar no funcionará para nuestros prospectos. ¿Hay alguna forma de personalizar un cliente de discurso de plan estándar? Las características principales que nos interesan son la pantalla de edición lado a lado: como esta Programa de Incentivos DeFi Renaissance (DRIP) - Propuestas - Arbitrum La edición de la derecha, es editada por SimScore basándose en los comentarios de la comunidad. La otra característica son las respuestas de justificación como las que se muestran arriba que se crean automáticamente. ¿Es esto posible utilizando un método diferente a los complementos? Tenemos 4 prospectos, ¿cada prospecto necesitaría una personalización diferente?

¿Entiendes que la función de edición estándar muestra una diferencia?

Puedes ver mi publicación anterior para ver la diferencia. Así es como se ve en el móvil.

Si quieres que discourse.org te aloje, tendrías que iniciar una conversación con ellos sobre si necesitarías uno o varios planes empresariales.

1 me gusta

Hola Jay,

Nuestra intención es integrar la API de SimScore en varias aplicaciones de Discourse que ya están en funcionamiento: Arbitrum, Scroll ZkNation y Celo. Estas organizaciones desean mejorar sus procesos de gobernanza. El proyecto que proponemos para estos clientes de Discourse está diseñado para editar temas basándose en las respuestas de la comunidad y proporcionar justificación. Estamos interesados en determinar la mejor manera de satisfacer sus necesidades.

Me uno a la conversación como uno de los desarrolladores de SimScore.

Según entendemos, esos clientes utilizan una versión alojada de Discourse, en un plan que no les permite instalar plugins personalizados más allá de lo que ya está disponible en el servicio de Discourse.

Suponiendo que eso sea correcto y que las versiones alojadas realmente no puedan instalar plugins personalizados (y por favor, háganos saber si hay alguna forma de habilitar plugins personalizados), la alternativa que probablemente podríamos implementar, si la API para esto existe (por favor, confirme):

  • (Opcional, posiblemente no necesario) crear manualmente un usuario de SimScore que tenga permisos para editar las publicaciones de otros usuarios (es decir, publicar nuevas versiones que se puedan ver con el visor de diferencias).

luego, cada vez que se deba ejecutar el análisis, desde una interfaz/disparador de terceros:

  • Utilizar la API de Discourse para autenticarse como el usuario de SimScore o, si es posible, como el autor original.
  • Utilizar la API de Discourse para obtener publicaciones de un tema específico y algunos metadatos (orden, usuario, fecha, …).
  • Reenviar eso a la API de SimScore para procesarlo y crear un nuevo texto de publicación actualizado.
  • Utilizar la API de Discourse para editar la publicación original con la nueva.

En lugar de utilizar un disparador de terceros, ¿sería posible activar un análisis manualmente desde dentro de Discourse? (Supongo que no, ¿porque eso requeriría nuevamente un plugin personalizado?).

1 me gusta

Sí, parece que este es el caso.

Como mencionó Jay anteriormente, no permitimos la instalación de plugins personalizados en ningún plan que no sean nuestros planes Enterprise.

Sí, en nuestros planes Standard y Business, los clientes pueden usar la API, así como instalar temas y componentes de temas (que en muchos sentidos pueden considerarse “plugins de front-end”, pero no creo que sea lo que buscas aquí).

La documentación de la API está aquí: https://docs.discourse.org/, y la documentación general para desarrolladores comienza aquí: Introduction to Discourse Development

El esquema de tu plan para hacerlo a través de una integración de API me parece razonable; dicho esto…

…esto podría valer la pena explorarlo.

El plugin Discourse Automation está disponible en nuestro plan Business y vale la pena echarle un vistazo: Discourse Automation

Hay “disparadores” y “scripts” integrados; puede que tenga exactamente lo que necesitas, o si encuentras que le falta algo, puede que sea relativamente sencillo contribuir esa pieza faltante al plugin.

Creo que ahí es donde empezaría a buscar…

Dicho esto, otra cosa que vale la pena mirar si estás explorando este territorio es Discourse AI, con el que Automation también puede integrarse. Un ejemplo de ello es AI triage.

Las funciones de IA están respaldadas por Personas, que pueden implementar herramientas personalizadas. Por lo tanto, podrías implementar una herramienta que llame a tu API, por ejemplo. La persona podría entonces ser llamada por la automatización. O podrías asociar un usuario con la persona y permitir que los miembros de la comunidad dentro de un grupo determinado la llamen directamente.

2 Me gusta

Eso no es completamente correcto: la comunidad ZkNation está alojada por Communiteq, y el alojamiento de Communiteq sí permite la instalación de plugins personalizados.

4 Me gusta