Wie geht ihr mit Nutzern um, die KI nutzen, um Threads automatisch zu beantworten und so das Vertrauenslevel zu erhöhen?

Gemeinschaft
1

Diese Frage richtet sich an alle Forenbetreiber/-Moderatoren: Was haltet ihr von Nutzern, die KI einsetzen, um das Forum automatisch zu durchsuchen, die letzten Kommentare automatisch zu lesen und daraufhin automatisch eine Antwort auf den Thread zu verfassen und zu posten? Das tun sie, um nicht tatsächlich am Forum teilnehmen zu müssen, weil sie ein höheres Vertrauensniveau erreichen wollen, um auf vertrauensgeschützte Bereiche des Forums zugreifen zu können.

Überwacht ihr diese Nutzer aktiv? Wie erkennt ihr, ob etwas von einer KI geschrieben wurde? Seht ihr davon einfach ab?

3 „Gefällt mir“
2

Es kann noch dreister zugehen. Ich habe Beiträge gesehen, in denen ein Sockpuppet-Account ein neues Thema mit KI erstellt und wenig später ein neuer Nutzer (vermutlich im Besitz derselben Person) eine Antwort postet, in der er den Ersteller des Themas (OP) unterstützt und lobt.

4 „Gefällt mir“
3

Ich habe dieses Verhalten noch nicht beobachtet, aber ich würde sie bannen. Wenn sie Mitglieder in gutem Ruf wären, würde es eine Verwarnung geben, aber es klingt so, als hätten sie nie etwas beigetragen.

Ich denke, es hilft, eine explizite Richtlinie für LLM-Beiträge zu haben.

6 „Gefällt mir“
4

Nun, wie du dieses Problem behandeln solltest, hängt davon ab, wie viel dir dein durch Vertrauen geschützter Inhalt wert ist und wie viel dir der Zugang zu diesem Inhalt wert ist.

Wenn es sich um Inhalte handelt, auf die du nicht möchtest, dass Leute zugreifen, indem sie das „System austricksen“, würde ich herausfinden, wie man ein solches Verhalten unterbinden kann.

Der Grund dafür ist, dass solches Verhalten allgegenwärtig ist. Siehe Roberts Beispiel:

ah… das geht hier jeden Tag so weiter…

Wie dem auch sei

Oft ist es für einen menschlichen Moderator beim bloßen Lesen ziemlich offensichtlich, aber das kostet Moderatorzeit. Einige Administratoren setzen KI ein, um KI zu erkennen (lustig, oder?)

Siehe ähnliche Diskussion hier:

4 „Gefällt mir“
5

Wenn du die verwendeten User-Agents isolieren kannst oder diese sich an Steuerungsstandards halten, könntest du in Betracht ziehen, sie zu blockieren, deren Rate zu begrenzen oder llms.txt zu nutzen.

Das funktioniert nur, wenn die Automatisierungen sich wie Gentleman benehmen.

Falls bestimmte Regionen ein Problem darstellen, ist Geo-Blocking immer auch eine Option.

Ich nutze einen KI-basierten Agenten, um neue oder Nutzer mit geringem Vertrauenswürdigkeit zu überprüfen. Es hat sich als zu über 95 % genau erwiesen.

Das hängt davon ab, wie clever deine Schurken sind, aber mit ein wenig Aufwand und Testen kannst du einen Schritt voraus sein :wink:

4 „Gefällt mir“
6

Wir haben das auch schon häufiger gesehen. Natürlich kann ich nichts über die Motivationen sagen, aber aus meiner Erfahrung heraus ist das weitaus weniger interessant als der Versuch, „Vertrauen zu gewinnen“. Ich denke, es ist einfach nur Spam.

Zu Spam gehören mittlerweile auch KI-Trainingsdatensätze und GEO – bei dem es für sie vorteilhaft ist, ein Produkt, eine Dienstleistung oder ein Unternehmen einfach nur überall im Internet zu erwähnen.

Manchmal geht es also darum, genug Vertrauen aufzubauen, um einen Link einzufügen, aber ich vermute, dass Links mittlerweile nur noch von untergeordneter Bedeutung sind.

Bisher waren die Indizien ziemlich offensichtlich – bei meinem „ehrlichen Eindruck“ zeigen sich die „tragenden Nähte“ deutlich. Ich stelle das Thema auf Pause und sende dem Nutzer eine freundliche (aber vorformulierte) DM mit einer Begrüßung und dem Hinweis, einfach mir zu antworten, um es wieder zu aktivieren.

Niemand hat mir jemals geantwortet.

4 „Gefällt mir“
7

Wie jemand anderes schon vorschlug, solltest du dir vielleicht überlegen, welchen Wert deine geschützten Inhalte haben und wie hoch der relative Wert der Beiträge der Nutzer für das Forum ist. Haben Leute, die keinen Zugang zu den geschützten Inhalten haben, das Wissen oder die Fähigkeiten, die nötig sind, um sinnvoll beizutragen? Vielleicht solltest du die Anforderungen für ein neues Vertrauenslevel so ändern, dass das Posten von Müll nicht weiterhilft, und das irgendwie klarstellen, damit die Leute nicht dazu verleitet werden, es trotzdem zu tun.

Konnten neue Nutzer vor der Einführung von KI noch sinnvoll beitragen und das nächste Vertrauenslevel erreichen?

4 „Gefällt mir“
8

Überraschend oder auch nicht: Ich habe den KI-Helfer bei Beiträgen hier genutzt, um festzustellen, ob ein Beitrag von KI stammt (teilweise zum Testen, teilweise zum Spaß), nachdem ich selbst bereits eine Einschätzung getroffen hatte. Und siehe da! Die Zuordnung als von KI bzw. von einem Menschen geschrieben ist überraschend genau.

Wenn es offensichtlich wäre, dass ein Benutzer KI nutzt, um das Forum regelrecht zu „gamen“, würde ich eine oder zwei Warnungen vorschlagen, gefolgt von einer Sperre von vielleicht ein paar Tagen.

1 „Gefällt mir“
9

Ich würde auf die Grundprinzipien zurückkommen: Ist der von ihnen produzierte Inhalt für die breitere Gemeinschaft wertvoll? Wenn ja, spielt es dann eine Rolle, wie er erstellt wurde? Wenn nein, muss man mit diesem Problem umgehen. Wenn jemand ein Sockpuppeting betreibt und eine Menge Unsinn erstellt, sollten die Konsequationen dieselben sein, egal ob es sich um KI oder um einen Menschen handelt, oder?

6 „Gefällt mir“
10

Unsere Community steht in Bereitschaft, und ich habe viel darüber nachgedacht, denn in den Zeiten, in denen wir leben, respektiert fast niemand mehr Richtlinien oder Grundsätze. Deshalb habe ich ein eigenes Vertrauens-/Karma-System implementiert, bei dem Nutzer bestimmte (menschliche) Quests erfüllen müssen, um Zugang zu erhalten.

Wir starten mit einer niedrigen Hürde, aber wenn ich das von dir beschriebene Verhalten feststelle, werde ich die Anforderungen erhöhen, sodass es langweilig, lästig oder fast unmöglich wird, dies mit LLMs zu automatisieren und/oder zu bewältigen.

Unsere Community basiert auf menschlicher Interaktion. Wir haben Discord verlassen, weil ihr zentralisiertes System nicht mit unserer Philosophie übereinstimmt. Ich erwarte auch, dass wir eines Tages KI-generierte Live-Kameras sehen werden, und muss planen, wie wir damit umgehen.

Ich habe in meinem Internet-Leben einige Foren moderiert und verwaltet und habe auf die harte Tour gelernt, dass zwanghafte oder bestrafende Maßnahmen in der Regel kontraproduktiv sind. Sie müssen immer das letzte Mittel sein.

Weißt du, „Füttere den Troll nicht“ gilt überall.

3 „Gefällt mir“
11

Ehrlich gesagt mache ich mir Sorgen, dass das TL-System anfängt zu versagen, da es für unsere Schutzmaßnahmen in mehreren Ebenen grundlegend ist. Auf Meta sehe ich hier nichts dergleichen – hast du deine Einstellungen für die KI-Spamerkennung oder TL angepasst?

3 „Gefällt mir“
12

Ehrlich gesagt und um meinem inneren 90er-Jahre-Film-Fan weiterhin freien Lauf zu lassen, starte ich eine Nischen-Community aus Lateinamerika neu, die für die ganze Welt geöffnet werden wird. Ich glaube, Foren müssen überleben, und in ein paar Jahren werden wir – die Menschen – nur noch 0,5 bis 1 % der Weltbevölkerung ausmachen.

Digg ist weg, Stack Overflow, weg. Reddit wird nicht mehr von Menschen gelenkt. Ich war dabei und habe mich zurückgezogen, als ich das eigentliche Monster kommen sah. Einschränkungen bei APIs, das Verbot alternativer Clients, Cookies überall, Captchas, die einen Menschen bitten, zu beweisen, dass er kein Bot ist, Fingerabdrücke bei jeder Interaktion und so weiter.

Die Neuaufnahme unserer Community wird uns für Spam-Bots anfällig machen, aber ich erwarte eher Angriffe auf unsere Infrastruktur, weil wir (ich) uns immer selbst hosten. Also habe ich beschlossen, alles über SEO zu vergessen, alles, was ich kann, zu begrenzen, die Interaktionen unter „uns“ zu halten, gelernt habe, zu verschlüsseln, in dezentralen Netzen zu verteilen und auf Tor zu sein, wo Discourse über Dumbcourse genutzt werden kann.

Das ist die letzte Verteidigungslinie und ist heute nicht notwendig, aber meine dystopische Seite (vielleicht verrückt aus der Sicht von Zuhörern oder Lesern) ist immer bereit, weißt du. Wir sehen die Filme: Agenten, Spinnen, totale Kontrolle und die Illusion über fast alle.

Zurück zu Discourse: Ich erwarte keinen Spam-Missbrauch, weil wir etwas Ungewöhnliches tun und außerhalb dessen liegen, was die Mehrheit verfolgt. Aber ich erwarte, dass viele Nutzer versuchen werden, die KI in ihren Interaktionen auszunutzen, um besser zu klingen, als sie wirklich sind. Nicht nur ist das unmöglich, sondern es ist auch die schlechteste Entscheidung, die jemand treffen kann, der sich verbessern möchte.

Also werden wir von einer emotionalen Menge, die einem Anführer folgt, zu einer vertrauenswürdigen Gruppe von Moderatoren übergehen, die die Agenten draußen hält. Ich denke, das Trust-Level-System von Discourse war großartig, aber es wird von der Welt, wie sie heute ist, nicht gefördert; die Menschen sind darauf trainiert, alles sofort zu bekommen und im Gegenzug fast nichts Wertvolles zu erhalten.

Meine Entscheidung, ein altmodisches System anstelle des üblichen Badge-/Trust-Systems zu verwenden, würde das gesamte Rauschen eliminieren, und ich denke, ich habe die beste Plattform für ein Forum gewählt, das vom besten Team der Welt geführt wird. Wir werden sehen, wohin alles führt.

Ich habe deinen Artikel und den über Mitose oder toxische Fragmentierung gelesen. Es ist immer schön, Menschen zu lesen, die aus dem schreiben, was sie wirklich erleben und besitzen. Ich bin angenehm überrascht, dass du die „Dead Internet“-Theorie kennst. Das ist es jetzt.

2 „Gefällt mir“
13

Re: Spam. Vor etwa zwei Jahren sind wir von einer veralteten und sterbenden Plattform, die in jeder Hinscht miserabel war, zu Discourse gewechselt. Der Spam war unmöglich im Griff zu behalten.

Discourse hat hier die Handbremse gezogen, und als die KI-Erkennung aktiviert wurde, war das ein echter Gamechanger.

Ich kann mich an kein einziges Thema erinnern, das durchgeschlüpft ist. Es gibt eine Handvoll falsch positiver Meldungen bei neuen Mitgliedern, aber nichts Gravierendes, und dieser Aufwand ist im Vergleich zu früher verschwindend gering.

Wir konnten auch eine Reihe von IP-Bereichen blockieren, aus denen massenhaft Konten erstellt wurden, was das Problem auf ein Niveau reduzierte, das weder lästig noch besorgniserregend ist.

Was ich an Discourse schätze, ist die Flexibilität, mit der man Probleme angehen kann, die ständige Weiterentwicklung und die Bereitschaft des Teams, zu helfen. Das ist eine erfrischende Abwechlung.

3 „Gefällt mir“
14

Ich habe nicht die gesamte Erfahrung im Aufbau von Projekten im Internet, die die Meta-Community insgesamt mitbringt, da ich mich stets in ausgewählten, kleinen oder Nischenbereichen aufhalte. Ich habe mich etwa ein Jahrzehnt lang mit den Grundlagen von Peer-to-Peer-Systemen beschäftigt und erst vor einigen Jahren Englisch verstanden, sodass ich fast komplett aus dem großen Geschehen heraus war.

Inzwischen wurde mein Ghost-CMS-System von einem Spam-Angriff heimgesucht, und ich musste die Registrierung deaktivieren, da das System nicht darauf vorbereitet war, damit umzugehen. Es war verrückt: Der SMTP-Server hat in einem Monat so viele Ressourcen verbraucht, wie er sonst in zwei Jahren gebraucht hätte.

Der Unterhalt ausgewählter Communities ermöglicht die manuelle Überprüfung von Konten. Ich denke, das ist die einzige zuverlässige Methode, um Crawler und Bots fernzuhalten. Heutzutage gibt es kein System mehr, das sie nicht übertrumpfen können; die Rechenleistung, die sie einsetzen, entwickelt sich ständig weiter und wird jeden Tag stärker.

Gute Werkzeuge helfen zwar wie immer, aber die eigentliche Verteidigung liegt bei uns.

15

Ich denke schon. In einigen Fällen haben wir es mit Spamern zu tun, die KI-generierte anschauliche Fragen stellen, für die unsere Gemeinschaft kollektiv viel Zeit aufgewendet hat – nur damit der „OP“ (Originalposter) später zurückkommt und einen Spam-Link einfügt oder die Frage rückwirkend so bearbeitet, dass ein solcher Link enthalten ist. Vor der Enthüllung wirken sie nicht offensichtlich wie Trolle.

Menschen lassen sich nur so oft darauf ein. Das zerstört das gute Klima in der Gemeinschaft.

3 „Gefällt mir“
16

Ich würde vermuten, dass euer Forum nicht das einzige Ziel ist. Mit diesem Gedanken im Hinterkopf ist es offensichtlich, dass die Instanz, die das tut, wahrscheinlich nicht die Zeit verschwenden möchte, um das ursprüngliche Thema selbst zu verfassen. Ein von einer KI generierter Beitrag spart in diesem Gesamtbild also Zeit. Daher scheint Wachsamkeit gegenüber dem Blockieren von KI-generierten Beiträgen eine möglicherweise lohnenswerte Methode zu sein, um Spam-Angriffe zu reduzieren.