Ein Plug-In, um Diskussionen im Discourse-Forum in klare Vorschlagsüberarbeitungen mit community-basierten Begründungen umzuwandeln

Unser Team schlägt ein Plug-in für diese Organisation vor. Wir beabsichtigen, ein Plug-in zu schreiben, das Discourse-Benutzer (nicht selbst bedient) verwenden könnten. Die Details des Plug-ins und seine Entwicklung sind unten aufgeführt. Ist diese Art von Projekt für unseren Interessenten möglich? Sie verstehen, dass sie nur Plug-ins verwenden können, die Discourse anbietet … ist das wahr? Kann ein Plug-in für alle Benutzer entwickelt werden? Hier ist unser Vorschlag für den Interessenten:

Ein Plug-in zur Umwandlung von Discourse-Foren-Diskussionen in klare Vorschlagsrevisionen mit Community-basierten Begründungen.

Zusammenfassung

Dieser Vorschlag stellt SimScore vor, ein KI-gestütztes Governance-Tool, das sich in den Vorschlags-Workflow von ArbitrumDAO integriert, um Community-Feedback zu analysieren und strukturierte Vorschlagsbearbeitungen mit umfassenden Begründungen zu generieren. Das System wird in zwei Schlüsselphasen arbeiten: vor dem Temperature Check und nach Abschluss des Temperature Checks, wobei in der zweiten Phase eine token-gewichtete Analyse durchgeführt wird.

Motivation

ArbitrumDAO steht vor Herausforderungen bei der effizienten Verarbeitung vielfältigen Community-Feedbacks während der Vorschlagsentwicklung. Derzeit müssen Antragsteller zahlreiche Kommentare aus Forendiskussionen und Snapshot-Temperature-Checks manuell zusammenfassen, was zeitaufwendig ist und dazu führen kann, dass wertvolle Erkenntnisse übersehen werden. SimScore löst dieses Problem, indem es eine automatisierte, statistische Analyse des Community-Konsenses mit transparenter Begründung für alle vorgeschlagenen Änderungen bietet.

Begründung

Eine Herausforderung, die DAOs identifiziert haben, ist der Bedarf an Governance-Experimenten, insbesondere im Zusammenhang mit KI-gestützter Governance. Die SimScore-Lösung beinhaltet die Analyse von Discourse-Foren-Antworten mit der SimScore-API, um sowohl Vorschläge zu bearbeiten als auch umfassende Begründungen zu posten.

Hauptvorteile der automatisierten Vorschlagsbearbeitung mit SimScore.

Qualitätsverbesserung

Durch die systematische Analyse vielfältiger Community-Perspektiven hilft SimScore, Vorschläge über das hinaus zu verfeinern, was ein einzelner Mitwirkender erreichen könnte. Der statistische Ansatz stellt sicher, dass wertvolle Erkenntnisse nicht im Rauschen zahlreicher Kommentare verloren gehen, und bietet gleichzeitig Klarheit über echte Konsensmuster über verschiedene Ansichten hinweg.

Beschleunigung des Durchsatzes

Anstatt wochenlang darauf zu warten, dass Antragsteller Dutzende oder Hunderte von Kommentaren manuell verarbeiten, automatisiert SimScore die Analyse des Community-Feedbacks. Dies kann die Zyklen der Vorschlagsverfeinerung von Wochen auf Tage oder sogar Stunden reduzieren und den Governance-Durchsatz drastisch erhöhen.

Erhöhte Transparenz

Jede vorgeschlagene Änderung enthält eine klare Begründung, die sich auf spezifisches Community-Feedback bezieht. Dies schafft eine überprüfbare Spur, die genau zeigt, wie das Community-Feedback den Vorschlag beeinflusst hat, und stärkt das Vertrauen in den Governance-Prozess.

Die SimScore-Lösung

Wir (SimScore) schlagen ein System vor, das einen hochentwickelten, datengesteuerten Ansatz zur Analyse von Community-Feedback bietet, der über mehrere integrierte Komponenten funktioniert:

1. SimScore / Eingeschränkte KI-Analyse

  1. Datensammlung: Ein Discourse-Plug-in sammelt alle Foren-Antworten und Diskussionen, die sich auf einen bestimmten Vorschlag beziehen.

  2. SimScore API verarbeitet diese Daten über drei verschiedene analytische Dimensionen:

    1. Prioritätsrankings: Berechnet einen mathematischen “Konsenspunkt” aus allen geschriebenen Ideen und misst dann die Ähnlichkeit jeder einzelnen Antwort mit diesem Konsens (ausgedrückt als SimScore %)

      Prioritätsanalyse-Ausgabe Nr. 1. (Beispiel-Layout)

      Priorität# Idee Autor SimScore %
      1 Bias-Verstärkung durch selektive Muster Emma 53%
      2 Kontextuelle Fehlausrichtung bei nuancierter Argumentation Liam 47%
      3 Zeitliche Abflachung sich entwickelnder Meinungen Sophia 32%
      4 Quellübergreifende Kontamination einzigartiger Perspektiven Gabrial 15%

      Ähnlichkeitsbewertung

      Die Ähnlichkeitsbewertung bestimmt die Ähnlichkeit eines Ideenpaares.

      Ähnlichkeitsbewertung Relative Ähnlichkeit
      0.0 Das Ideenpaar hat keine Ähnlichkeit
      >0.2 Das Ideenpaar wird als Plagiat betrachtet
      0.65 - 1.0 Das Ideenpaar sind im Wesentlichen Duplikate

      Konsenspunkt

      Die Simscore API berechnet den Konsenspunkt aus allen geschriebenen Ideen als mathematischen Ausdruck.

      SimScore %

      Die Ähnlichkeit jeder Idee im Vergleich zum Konsenspunkt, ausgedrückt als SimScore %.

      ii. Mapping des konzeptionellen Raums: Positioniert jede Antwort in einem zweidimensionalen Raum, um Cluster und Beziehungen zwischen Ideen zu visualisieren.

      Beziehungsdiagramm - Ausgabe Nr. 2

      Priorität # X Y SimScore%
      1 0.515 -0.287 54%
      2 0.515 -0.586 51%
      3 0.104 0.334 49%
      4 -0.580 0.044 42%
      5 0.586 0.367 33%
      6 -0.260 0.615 32%
      7 -0.506 -0.406 31%

      https://docs.google.com/spreadsheets/d/e/2PACX-1vRbK31Zbther54K6vzp96LYYT5ETFNDalc-uSM_acVyq4GhEz4K1v9jkmg0tuYSM0FucUyvGi8p4Jv3/pubchart?oid=471457277&format=interactive

      iii. Paarweise Beziehungen: Erstellt eine vollständige Ähnlichkeitsmatrix, die zeigt, wie stark jede Antwort mit jeder anderen Antwort zusammenhängt.

      Matrix der paarweisen Ähnlichkeitsbewertung

      SimScore ordnet die Antworten in der Reihenfolge “am ähnlichsten” an.

      Antwort 1 Antwort 2 Antwort 3 Antwort 4
      Antwort 1 1.000 0.469 0.264 0.254
      Antwort 2 0.469 1.000 0.235 0.234
      Antwort 3 0.264 0.235 1.000 0.161
      Antwort 4 0.254 0.234 0.161 1.000

      Hinweis: Die SimScore API ist vollständig und bereit für die Bereitstellung. Beschreibung Github

  3. Validierte Konsensidentifizierung: Das System benötigt Beweise über mehrere Dimensionen, bevor der Community-Konsens bestätigt wird:

    • Hochpriorisierte Rückmeldungen mit unterstützenden Antworten in unmittelbarer Nähe im konzeptionellen Raum
    • Mehrere Antworten mittlerer Priorität, die sich zusammen gruppieren
    • Starke paarweise Beziehungen (über 20% Ähnlichkeit) zwischen Antworten von verschiedenen Autoren
      d. Implementierung von eingeschränkter KI: KI dient als Interpret von Konsensmustern und nicht als primärer Synthetisierer. Sie ist streng durch die statistische Basislinie von SimScore eingeschränkt, um eine Fehlinterpretation der Community-Ansichten zu verhindern.

2. Discourse-Plug-in

  1. Side-by-Side-Vorschlagsbearbeitung: Das System integriert sich direkt in den Bearbeitungsbereich von Discourse und zeigt ursprüngliche und überarbeitete Vorschläge mit farbcodierten Unterschieden an.
  2. Umfassende Begründung: Für jede Überarbeitung generiert das System eine detaillierte Begründung, die sich auf spezifisches Community-Feedback bezieht, das die Änderung unterstützt hat, einschließlich:
    • Prioritätsrankings mit Ähnlichkeitsbewertungen
    • Relevante paarweise Beziehungen
    • Analyse der konzeptionellen Positionierung
    • Direkte Zitate von Community-Mitgliedern

3. Menschliche Endkontrolle

  1. Menschliche Endkontrolle: Der ursprüngliche Antragsteller überprüft alle vorgeschlagenen Änderungen und behält die endgültige redaktionelle Kontrolle, bevor er zur Abstimmung übergeht.

Demonstrationsbildschirme.

Side-by-Side-Vorschlagsbearbeitung - Verlauf-Bildschirm im Scroll-Forum

image.png

Demo des Bearbeitungsbildschirms

Umfassende Begründung jeder Überarbeitung

image.png

Spezifikation des Discourse / SimScore-Integrations-Plug-ins

:page_facing_up: Technische Spezifikation: SimScore-gestützter DAO-Vorschlagseditor

Discourse-Plug-in für SimScore API

Über den Autor:

Mit 30 Jahren Führungserfahrung war der Autor CEO eines industriellen Wasseraufbereitungsunternehmens, das über 12 Jahre hinweg eine bemerkenswerte Wertsteigerung um das 100-fache erzielte. Unter seiner Führung wurde das Unternehmen durch organisches Wachstum aus eigener Kraft finanziert, bevor es erfolgreich an Private Equity verkauft wurde. Seine “Blank Boarding”-Methodik war entscheidend für diesen Erfolg, indem sie strategische Prioritäten identifizierte und die organisatorische Ausrichtung vorantrieb. Er ist nun Gründer von SimScore und entwickelt Technologie, um seine bewährten Methoden für Organisationen jeder Größe zugänglich zu machen.

Referenzmaterial

SimScore API - Github - GitHub - Sim-Score/simscore-api

SimScore API - Was ist das?

SimScore API - Youtube-Video - https://www.youtube.com/watch?v=ifi9PNs41G4

SimScore-Analyse - Arbitrum Renaissance Incentive Program - Google Sheets

1 „Gefällt mir“

Beziehen Sie sich auf die Plugins, die für gehostete Pläne verfügbar sind?

1 „Gefällt mir“

Ja, ich beziehe mich auf Plug-ins in gehosteten Plänen. Ich schlage die Lösung derzeit 4 Discourse-Benutzern vor. Dies besteht darin, die SimScore API in Discourse zu integrieren, um Themen automatisch basierend auf dem Feedback der Community zu bearbeiten und sie im Bearbeitungsbildschirm nebeneinander anzuzeigen. Geben Sie auch eine Antwort im Forum mit klarer Begründung ein. Die Begründung sieht so aus.

1 „Gefällt mir“

Sie müssten dann auf einem Enterprise-Plan sein. Ihr Plug-in ist nur für Sie nützlich, nicht für alle Benutzer von Business- oder Standard-Plänen.

Vielleicht haben Sie nicht gesehen, wie Discourse Unterschiede zwischen Bearbeitungen anzeigt?

@NateDhaliwal Vielen Dank an euch beide für eure Antworten. Basierend auf euren Eingaben wird das Discourse-Plugin für Standardpläne für unsere Interessenten nicht funktionieren. Gibt es eine Möglichkeit, einen Discourse-Client für Standardpläne anzupassen? Die Hauptfunktionen, an denen wir interessiert sind, sind der nebeneinanderliegende Bearbeitungsbildschirm: wie hier DeFi Renaissance Incentive Program (DRIP) - Proposals - Arbitrum Die Bearbeitung auf der rechten Seite wird von SimScore basierend auf dem Feedback der Community bearbeitet. Die andere Funktion sind die oben gezeigten Begründungsantworten, die automatisch erstellt werden. Ist dies mit einer anderen Methode als Plugins möglich? Wir haben 4 Interessenten, würde jeder Interessent eine andere Anpassung benötigen?

Verstehst du, dass die Standard-Bearbeitungsfunktion eine Diff anzeigt?

Du kannst dir meinen Beitrag oben ansehen, um die Diff zu sehen. Hier ist, wie es auf Mobilgeräten aussieht.

Wenn du möchtest, dass discourse.org dich hostet, müsstest du ein Gespräch mit ihnen beginnen, ob du einen oder mehrere Enterprise-Pläne benötigst.

1 „Gefällt mir“

Hallo Jay,

Wir beabsichtigen, die SimScore API in mehrere bereits bestehende Discourse-Anwendungen zu integrieren. Arbitrum, Scroll ZkNation und Celo. Diese Organisationen möchten ihre Governance-Prozesse verbessern. Das Projekt, das wir für diese Discourse-Kunden vorschlagen, ist darauf ausgelegt, Themen basierend auf Community-Antworten zu bearbeiten und Begründungen bereitzustellen. Wir sind daran interessiert, den besten Weg zu ermitteln, um ihre Bedürfnisse zu erfüllen.

Ich springe hier als einer der Entwickler von SimScore ein.

Soweit wir verstehen, verwenden diese Kunden eine gehostete Version von Discourse in einem Plan, der es ihnen nicht erlaubt, benutzerdefinierte Plugins zu installieren, die über das bereits von Discourse angebotene hinausgehen.

Unter der Annahme, dass dies korrekt ist und gehostete Versionen tatsächlich keine benutzerdefinierten Plugins installieren können (und bitte teilen Sie uns mit, ob es eine Möglichkeit gibt, benutzerdefinierte Plugins zu aktivieren) – die Alternative, die wir wahrscheinlich tun könnten, wenn die API dafür existiert (bitte bestätigen):

  • (Einmalig, möglicherweise nicht unbedingt erforderlich) Manuelles Erstellen eines SimScore-Benutzers, der die Berechtigung hat, Beiträge anderer Benutzer zu bearbeiten (d. h. neue Versionen zu posten, die mit dem Diff-Viewer angezeigt werden können)

dann, wann immer die Analyse ausgeführt werden soll, von einer Drittanbieter-Oberfläche/einem Trigger:

  • Verwenden Sie die Discourse-API, um sich als SimScore-Benutzer oder, wenn möglich, als ursprünglicher Poster zu authentifizieren
  • Verwenden Sie die Discourse-API, um Beiträge aus einem bestimmten Thema und einige Metadaten (Reihenfolge, Benutzer, Datum usw.) abzurufen
  • Leiten Sie dies an die SimScore-API weiter und verarbeiten Sie es und erstellen Sie einen neuen, aktualisierten Beitragstext
  • Verwenden Sie die Discourse-API, um den ursprünglichen Beitrag mit dem neuen zu bearbeiten

Anstatt einen Drittanbieter-Trigger zu verwenden, wäre es möglich, eine Analyse manuell innerhalb von Discourse auszulösen? (Ich nehme an, nein, da dies wieder ein benutzerdefiniertes Plugin erfordern würde?)

1 „Gefällt mir“

Ja, das scheint der Fall zu sein.

Wie Jay oben erwähnt hat, erlauben wir die Installation von benutzerdefinierten Plugins nicht in irgendeinem Plan außer unseren Enterprise-Plänen.

Ja, in unseren Standard- und Business-Plänen können Kunden die API nutzen und auch Themes und Theme-Komponenten installieren (die in vielerlei Hinsicht als „Frontend-Plugins“ betrachtet werden können, aber ich glaube nicht, dass das das ist, wonach Sie hier suchen).

API-Dokumentation finden Sie hier: https://docs.discourse.org/, und allgemeinere Entwicklerdokumente beginnen hier: Introduction to Discourse Development

Der Umriss Ihres Plans, dies über eine API-Integration zu tun, erscheint mir vernünftig – das gesagt…

…das könnte es wert sein, erforscht zu werden.

Das Discourse-Automatisierungs-Plugin ist in unserem Business-Plan verfügbar und es lohnt sich, es anzusehen: Discourse Automation

Es gibt integrierte „Trigger“ und „Skripte“ – es hat möglicherweise genau das, was Sie brauchen, oder wenn Sie feststellen, dass etwas fehlt, ist es möglicherweise relativ einfach, dieses fehlende Stück zum Plugin beizutragen.

Ich denke, dort würde ich mit der Suche beginnen…

Das gesagt, eine weitere Sache, die es wert ist, in diesem Bereich zu betrachten, ist Discourse AI, mit dem Automatisierung ebenfalls integriert werden kann. Ein Beispiel dafür ist AI triage.

KI-Funktionen werden von Personas unterstützt, die custom tools implementieren können. Sie könnten also ein Tool implementieren, das beispielsweise Ihre API aufruft. Die Persona könnte dann von der Automatisierung aufgerufen werden. Oder Sie könnten einen Benutzer mit der Persona verknüpfen und es Community-Mitgliedern innerhalb einer bestimmten Gruppe ermöglichen, sie direkt aufzurufen.

2 „Gefällt mir“

[Zitat=“maets23, Beitrag:7, Thema:364713”]
ZkNation
[/Zitat]

[Zitat=“JogiJonas, Beitrag:8, Thema:364713”]
diese Clients verwenden eine gehostete Version von Discourse, auf einem Plan, der es ihnen nicht erlaubt, benutzerdefinierte Plugins zu installieren, die über das hinausgehen, was bereits vom Discourse-Service zur Verfügung steht.

Vorausgesetzt, das ist richtig, und gehostete Versionen können tatsächlich keine benutzerdefinierten Plugins installieren
[/Zitat]

Das ist nicht ganz richtig – die ZkNation-Community wird von Communiteq gehostet, und das Hosting bei Communiteq erlaubt das Installieren von benutzerdefinierten Plugins.

4 „Gefällt mir“