FYI "Verwendung von GPT-4 zur Inhaltsmoderation" - Ein Blogbeitrag von OpenAI

Gemeinschaft
1

https://openai.com/blog/using-gpt-4-for-content-moderation

Aus der Antwort unten

Der Blog beschreibt, wie GPT4 trainiert wird, um Inhalte im Internet basierend auf Richtlinien zu moderieren.

Dies gilt direkt für Discourse-Seiten, die menschliche Moderatoren verwenden, um Inhalte basierend auf Richtlinien zu filtern.

Als menschlicher Moderator auf einigen Seiten verwende ich die Richtlinien sowohl der Organisation als auch des Discourse-Forums, um zu entscheiden, welche Maßnahmen bezüglich eines Beitrags ergriffen werden sollen, insbesondere wenn er markiert wurde. Es ist für mich als Moderator nicht ungewöhnlich, einen markierten Beitrag bestehen zu lassen, wenn er nicht gegen eine Richtlinie verstößt.

Ich weiß, dass Sie nach meinen Gedanken gefragt haben, aber ich versuche, solche Antworten auf Fakten zu beschränken; hoffentlich bin ich dabei innerhalb meiner eigenen Grenzen geblieben. :slightly_smiling_face:

5 „Gefällt mir“
2

Könnten Sie im OP etwas näher darauf eingehen, warum Sie denken, dass dies für die Leute von Interesse ist und wie es mit Discourse zusammenhängt? :pray:

Ein Link mit wenig Kontext ist keine gute Diskussionsgrundlage. :slight_smile:

6 „Gefällt mir“
3

Mein Ziel war es nicht, eine Diskussion zu starten, sondern Informationen weiterzugeben, die ich sowohl für Discourse als Unternehmen als auch für diejenigen, die Websites mit Hilfe menschlicher Moderatoren betreiben, für relevant halte.

Während ich versuchte, mich in dem ersten Beitrag hier nur auf die Fakten zu beschränken, gibt es einen Punkt, der meiner Meinung nach diskussionswürdig ist.

Sollte sich eine Website ausschließlich auf einen KI-Moderator verlassen oder sollten Menschen beteiligt sein? Wichtiger noch, was passiert, wenn eine KI und ein Mensch nicht übereinstimmen?

Die Wahl des Wortes loop war bewusst und kein Zufall; haben Sie jemals die Apollo-Missionen von der Flugkontrolle gehört und das Wort loop bemerkt?

Eine sehr interessante Nebennote dazu, die viele vielleicht nicht sehen, ist, dass dies dasselbe Problem ist, mit dem die bemannte Raumfahrt zu kämpfen hatte: Sollte das Raumschiff vollautonom sein oder sollte ein Mensch in der Lage sein, die teilweise und/oder vollständige Kontrolle zu übernehmen? Dies kann als Beginn von Autopiloten für Flugzeuge betrachtet werden.

Ein faszinierendes Buch, das ich persönlich zu diesem Thema gelesen habe und das mir viel über einen Bereich von Code und Design beigebracht hat, der in keinem anderen Projekt zu sehen ist.

“Digital Apollo: Human and Machine in Spaceflight” von David A. Mindell (site) (WorldCat)

1 „Gefällt mir“
4

Beziehen Sie Menschen auf jeden Fall mit ein. Haben Sie Robocop gesehen? Ernsthaft, bei der Moderation steckt viel Urteilsvermögen drin. Es ist zwar gut, Richtlinien zu haben und diese anzuwenden, aber sie als eine Reihe strenger Regeln zu betreiben, halte ich für töricht – eine technische Lösung für ein menschliches Problem.

Bearbeitung: Ich möchte hinzufügen, dass ich Foren im menschlichen Maßstab betreibe, in denen sich die Moderatoren kennen und die regelmäßig beitragenden Mitglieder kennen. Ich bin sicher, dass OpenAI an Foren im industriellen Maßstab denkt, die gewinnorientiert betrieben werden und bei denen die Moderationsherausforderungen ganz anders sind.

3 „Gefällt mir“
5

Das Interessante hier ist die Neuausrichtung des Denkens:

GPT-4-Moderation

:arrow_double_down:

GPT-4 unterstützte Moderation

Dieses Werkzeug zu nutzen, um Moderatoren zu befähigen, finde ich sehr ansprechend.

9 „Gefällt mir“
6

Discourse ist eine ideale Plattform zum Lernen, Wachsen und Aufbauen dieser neuen Werkzeuge.

Ich bin ganz dafür, die KI-Revolution als ein dezentrales, miteinander verbundenes „neuronales Netz“ von Netzen anzunehmen, durch das bereits existierende Gesellschaften und Kulturen von Menschen beginnen können, sich effizienter zu entwickeln und zusammenzuarbeiten, und die Gezeiten gegen die Geißeln der Polarisierung wenden können, die durch die Zentralisierungen von Macht und Kontrolle ermöglicht werden, die uns durch die jüngsten Iterationen von „sozialen“ Netzwerken auferlegt wurden.

Diese Visualisierung gefällt mir…

3 „Gefällt mir“
7

Menschen sollten beteiligt sein, aber ich denke, ein gewisses Maß an KI-Moderation wäre ein großes Verkaufsargument für jede öffentliche Einrichtung, die über ein Forum nachdenkt. Zum Beispiel, wenn die CBC irgendwie davon überzeugt werden könnte, ein Forum einzurichten.
Das Gleichgewicht könnte so aussehen, dass menschliche Moderatoren ihre menschlichen Fähigkeiten zur Gesprächsführung einsetzen, während (menschenüberwachte) KI die Richtlinien der Website durchsetzt. KI-Moderation könnte Foren potenziell eher dazu bringen, Gespräche über polarisierende Themen zuzulassen.

2 „Gefällt mir“
8

Ich möchte KI-gestützte Moderation, um problematische Benutzer zu erkennen, die nach einer Sperrung neue Konten erstellen. Der Umgang mit solchen Fällen verbraucht mehr Zeit, als mir lieb ist, und ich bin nicht einmal einer der Moderatoren (wir haben getrennte Rollen).

6 „Gefällt mir“
9

Gute Idee hier

2 „Gefällt mir“
10

Gibt es eine KI-Funktionalität wie diese zur Integration in Discourse? Ich denke, es wäre sehr hilfreich bei der Moderation meiner Community. Bitte lassen Sie es mich wissen! Ich suche nach Lösungen, um Zeit für Beiträge zu sparen, die gegen unsere Richtlinien verstoßen.

2 „Gefällt mir“
11

Sicher, wenn Sie OpenAI und Co. sind.

Sicher, was kann da schon schiefgehen! :man_shrugging:

Betrachtet man die Rede.

\u003e Content-Moderation spielt eine entscheidende Rolle für die Gesundheit digitaler Plattformen.
Ein Content-Moderationssystem, das GPT-4 verwendet, ermöglicht eine viel schnellere Iteration von Politikänderungen und verkürzt den Zyklus von Monaten auf Stunden. GPT-4 kann auch Regeln und Nuancen in langen Dokumenten zur Content-Richtlinien interpretieren und sich sofort an Richtlinienaktualisierungen anpassen, was zu einer konsistenteren Kennzeichnung führt. Wir glauben, dass dies eine positivere Vision für die Zukunft digitaler Plattformen bietet, in der KI helfen kann, den Online-Verkehr gemäß den plattformspezifischen Richtlinien zu moderieren und die psychische Belastung einer großen Anzahl menschlicher Moderatoren zu verringern. Jeder mit OpenAI API-Zugang kann diesen Ansatz implementieren, um sein eigenes KI-gestütztes Moderationssystem zu erstellen.

Während OpenAI Ihnen Token verkauft, um die Fahrten auf Ihrem Jahrmarkt zu nutzen, wird eine „psychische Belastung“ durch eine andere „psychische Belastung“ ersetzt (vorausgesetzt, es kümmert Sie), können Sie sie erkennen?

1 „Gefällt mir“
12

Ja, brillant, nicht wahr?

Während ich diese Technologie absolut liebe und es zu meiner Aufgabe gemacht habe, sie so gut wie möglich zu verstehen und zu wissen, wie ich sie am besten einsetze, ist klar, dass OpenAI (und ähnliche Dienste) hier aus geschäftlicher Sicht wirklich etwas auf dem Schirm haben.

Die Implikation ist, dass Sie für jeden Beitrag Geld an OpenAI zahlen müssen, und das aus potenziell mehreren Gründen (Zusammenfassung, Grammatik des Beitrags, NSFW-Filterung des Beitrags, Einbettung von Profilen, die Liste ist lang).

Bevor Sie es merken, erhält OpenAI einen ordentlichen Anteil an allem Durchsatz auf Ihrer eigenen Website. All Ihre hart erarbeiteten Werbe- und Affiliate-Einnahmen? Ein Teil davon wird nun an sie umgeleitet.

Und Cloud-VPS-Anbieter werden all die Leute lieben, die ihren 4-GB-Server auf ihre 16-GB-Angebote aufrüsten, um Open-Source-Modelle lokal zu nutzen.

Das gesagt, natürlich wird niemand dies in großem Umfang tun, es sei denn, es ist auf diese Weise effizienter und es ist wettbewerbsmäßig wichtig, es zu tun.

Und noch weniger pessimistisch betrachtet, ist eine andere Sichtweise auf die angebotenen Dienste eine Demokratisierung von Technologie, die früher nur den großen Anbietern zur Verfügung stand.

Zum Beispiel ist semantische Suche jetzt billiger als je zuvor, und kleine Installationen können jetzt eine leistungsstarke Suche zu einem sehr erschwinglichen Preis nutzen. Das ist doch sicher eine großartige Sache?

Die Leistung der Verarbeitung natürlicher Sprache ist selbst in den günstigeren Modellen erstaunlich.

Und wir haben gerade erst diese neue Ära begonnen, ich bin sicher, die Preise werden sinken, wenn der Wettbewerb aufblüht.

1 „Gefällt mir“
13

Wenn Sie das Thema wechseln möchten, verschieben Sie Ihre Themen bitte in ein neues Thema. Danke. :slightly_smiling_face:

14

Das scheint themenbezogen zu sein? Die praktischen Überlegungen zur Verwendung von KI-gestützten Moderationstools?

(Offensichtlich ist der OP ein wenig offen, aber #community-Themen sind es oft)

2 „Gefällt mir“
15

Nein. Über Geldverdienen zu sprechen, ist nicht themenbezogen.

Das Thema ist Moderation.

16

Es ist absolut relevant und meiner Meinung nach sicherlich nicht themenfremd.

Wie viele Beiträge täglich auf der von Ihnen betriebenen Website?

Wenn Sie für jeden Beitrag, der dazu beiträgt, Geld an Open AI zahlen müssen, ist das eine Überlegung.

Was ist der Grenznutzen eines Beitrags für Ihre Werbeeinnahmen, Kundenbindung?

Letztendlich muss es sich selbst tragen, um gerechtfertigt zu sein.

Ich habe keinen Zweifel daran, dass dies zu einer erheblichen Reduzierung des Aufwands für das Community-Management und zu einer Verbesserung der Gesamtqualität einer Website usw. führen könnte, was einen starken Fall dafür darstellen könnte.

Es geht nicht nur um die Einrichtung oder die technische Machbarkeit, obwohl diese Dinge berücksichtigt werden müssen?

5 „Gefällt mir“